2018年04月_wending-Y

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 01月

原创 sqoop2安装

1.下载文件1.9.7版本，官网下载 2.修改hadoop中core-site.xml,第二个hadoop为在服务器上的用户名property> <name>hadoop.proxyuser.hadoop.hosts</name> <value>*</value></property><property> <name>hadoop.proxyuser.hadoop.groups</

2018-04-30 00:10:13 226

原创 java.lang.UnsupportedOperationException: This is supposed to be overridden by subclasses

1.原因不细说了，就是2.5版本里 public UnknownFieldSet getUnknownFields() { throw new UnsupportedOperationException( //在180行可以看到这个方法直接返回一个错误 "This is supposed to be overridden by subclasses."); }2在Mave

2018-04-25 02:33:04 5095 2

原创 Hive hiveserver2 高可用

1.hiveserver只支持单连接，不适用生产环境，生产环境配备hiveserver2,生产环境应具备高可用。 2.配置文件修改,hive-site.xml，保证zk可用 <property> <name>hive.server2.support.dynamic.service.discovery</name> <value>true</value> </property>

2018-04-23 00:38:47 2017

原创 HBase分布式安装

安装前准备工作三台机器上HADOOP和zookeeper安装正常2.在机器A上下载jar包，解压，修改配置文件如下hbase-ev.shexport JAVA_HOME=/opt/soft/jdk1.8.0_162///由单独zk管理 export HBASE_MANAGES_ZK=false // regionservers 文件 centos-1 centos-2 centos

2018-04-20 00:47:35 226

1.命令行导出数据mysql -h地址 -u用户名 -p密码 -e &quot;select xxx&quot; &gt; xxx.log2.mysql时间操作DATE_SUB() 日期相减SELECT id FROM record WHERE DATE_SUB(CURDATE(),INTERVAL 2 DAY) &lt;= create_time;DATE_ADD() 日期相加SELECT DATE_ADD(CURDATE()

2018-04-18 01:33:47 308

原创 spark streaming与Kafka结合

1.代码import org.apache.kafka.common.serialization.StringDeserializerimport org.apache.spark.SparkConfimport org.apache.spark.streaming.kafka010.KafkaUtilsimport org.apache.spark.streaming.{Seconds, S

2018-04-17 01:02:18 354

原创 mysql if,case,count()加条件用法

1.case语法 CASE case_value WHEN when_value THEN statement_list [WHEN when_value THEN statement_list] … [ELSE statement_list] END CASEselect CASE age when age>30 then 'boy' ELSE 'girl' en

2018-04-16 23:29:39 18209

原创 maven打包（带依赖）

<build> <plugins> <plugin> <artifactId>maven-assembly-plugin</artifactId> <configuration> ...

2018-04-06 01:31:44 2356

原创 git在IDEA中的运用

1.配置就不讲了，首先创建一个简单的java项目，和git关联上，选择你的项目文件夹，此时项目右下角会出现master分支字样22.本地git项目和远程仓库关联，在github上建立一个仓库，最好名和项目名一样,然后新建First文件，在项目名上点右键，然后git选择commit directory,出现这个画面，只勾选新建的文件，其它IDEA生成的文件不要勾选，然后选择远程仓库的地址，点push...

2018-04-04 01:56:56 608