自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 canal client指定binlog的position启动

先停止canal服务 在canal目录下的logs目录中查看meta.log文件 查看最近数据库操作的Position 修改instance的meta.dat文件 修改position到指定位置 重启canal服务 参考博文:https://blog.csdn.net/silentwolf...

2019-06-12 10:54:50

阅读数 222

评论数 0

原创 sqoop导入mysql数据到hive/HDFS,timestamp类型数据改变13小时

这是mysql时区问题 不管差了几小时,就是时区的问题 先用date -R查询本地时区 +0800 表示是东八区 时间格式是CST时间 然后在mysql中查看时区 此时time_zone的值应该显示为SYSTEM(上图是我已经更改后的) 问题就出在这里,CST时间定义其实很混乱,很多人认为是...

2019-04-26 17:42:33

阅读数 325

评论数 0

原创 flink消费kafka报错:org.apache.kafka.clients.consumer.KafkaConsumer.assign(Ljava/util/List;)V

flink消费kafka上数据时报错: Caused by: java.lang.NoSuchMethodError: org.apache.kafka.clients.consumer.KafkaConsumer.assign(Ljava/util/List;)V 错误原因: Flink的kaf...

2019-03-26 17:53:30

阅读数 588

评论数 0

原创 CDH5.15.0 kafka调试报错Connection to node -1 could not be established. Broker may not be available.

在CDH5.15.0版本集群中加入kafka服务后,使用kafka自带的命令行生产者kafka-console-producer和命令行消费者kafka-console-consumer进行调试时,producer端启动,输入消息回车后报错WARN clients.NetworkClient: [...

2019-03-21 16:19:37

阅读数 574

评论数 0

原创 spark-submit报错java.lang.IllegalStateException: User did not initialize spark context!

在IDEA上编写spark程序,打成jar包之后,上传到服务器,然后以yarn cluster模式提交:bin/spark-submit --class com.BRC.spark.WordCount --master yarn --deploy-mode cluster ./wordcount-...

2019-03-21 12:44:06

阅读数 1984

评论数 0

原创 IDEA创建maven工程时plugins无法引入

maven版本与IDEA版本不兼容,推荐使用IDEA自带的maven

2019-03-21 10:32:15

阅读数 787

评论数 0

原创 IDEA maven导入plugins出错,无法导入

可能是IDEA与maven的版本不兼容,使用IDEA自带的maven插件即可,在settings----->maven中配置即可

2019-03-20 15:59:32

阅读数 997

评论数 0

原创 spark读取HDFS目录时报错Failed on local exception: com.google.protobuf.InvalidProtocolBufferException

./bin/spark-shell启动shell环境后,提交命令sc.textFile(“hdfs://test-szzt01:9000/test/hello.txt”).flatMap(.split(" ")).map((,1)).reduceByKey(+).saveAsT...

2019-03-19 13:30:53

阅读数 415

评论数 0

原创 CDH版本spark报Exception in thread "main" java.lang.NoClassDefFoundError:org/slf4j/impl/StaticLoggerBind

原因是/opt/cloudera/parcels/CDH-5.15.0-1.cdh5.15.0.p0.21/jars目录下缺少jar包 slf4j-log4j12-1.7.5.jar 即使有相关的jar包也要看slf4j和log4j版本是否能匹配 参考博文 https://blog.csdn....

2019-03-19 13:24:49

阅读数 470

评论数 0

原创 flink on yarn 任务提交出错,报AskTimeoutException和java.util.concurrent.CompletionException异常

部署flink on yarn时报错 任务提交命令: /opt/module/flink-1.6.4/bin/yarn-session.sh -n 3 -s 6 -jm 1024 -tm 1024 -nm test -d 提交yarn-session成功 /opt/module/flink-1...

2019-03-18 10:52:45

阅读数 1022

评论数 0

原创 Flink on yarn报错:Caused by: org.apache.hadoop.security.AccessControlException: Permission denied: use

2019-03-14 10:43:27

阅读数 146

评论数 0

原创 CDH 5.12.1安装部署时hue数据库测试j连接不通过

在使用CM web页面进行集群部署时,hue数据库连接测试不通过 解决办法: 安装MySQL-shared-compat-5.6.41-1.el6.x86_64.rpm 安装完成后即可测试通过

2019-03-10 22:11:24

阅读数 144

评论数 0

原创 spark-shell启动报错--无法连接master

①spark standalone模式无法启动,连接master失败,但是集群用jps查看时,master明明已经启动。 ②spark-shell on yarn启动时,无法创建sc。 原因:通过hadoop104:8080查看master节点时,master节点的状态为standby,说明集群中...

2019-02-24 13:56:51

阅读数 392

评论数 0

提示
确定要删除当前文章?
取消 删除