CDH
kangker
这个作者很懒,什么都没留下…
展开
-
Flink on yarn报错:Caused by: org.apache.hadoop.security.AccessControlException: Permission denied: use
原创 2019-03-14 10:43:27 · 1102 阅读 · 0 评论 -
CDH 5.12.1安装部署时hue数据库测试j连接不通过
在使用CM web页面进行集群部署时,hue数据库连接测试不通过解决办法:安装MySQL-shared-compat-5.6.41-1.el6.x86_64.rpm安装完成后即可测试通过原创 2019-03-10 22:11:24 · 504 阅读 · 0 评论 -
CDH5.15.0 kafka调试报错Connection to node -1 could not be established. Broker may not be available.
在CDH5.15.0版本集群中加入kafka服务后,使用kafka自带的命令行生产者kafka-console-producer和命令行消费者kafka-console-consumer进行调试时,producer端启动,输入消息回车后报错WARN clients.NetworkClient: [Producer clientId=console-producer] Connection to n...原创 2019-03-21 16:19:37 · 3030 阅读 · 1 评论 -
flink on yarn 任务提交出错,报AskTimeoutException和java.util.concurrent.CompletionException异常
部署flink on yarn时报错任务提交命令:/opt/module/flink-1.6.4/bin/yarn-session.sh -n 3 -s 6 -jm 1024 -tm 1024 -nm test -d提交yarn-session成功/opt/module/flink-1.6.4/bin/flink run -m yarn-cluster examples/batch/W...原创 2019-03-18 10:52:45 · 6149 阅读 · 0 评论 -
CDH版本spark报Exception in thread "main" java.lang.NoClassDefFoundError:org/slf4j/impl/StaticLoggerBind
原因是/opt/cloudera/parcels/CDH-5.15.0-1.cdh5.15.0.p0.21/jars目录下缺少jar包slf4j-log4j12-1.7.5.jar即使有相关的jar包也要看slf4j和log4j版本是否能匹配参考博文https://blog.csdn.net/langtian08/article/details/82015017https://bl...原创 2019-03-19 13:24:49 · 3844 阅读 · 0 评论 -
spark读取HDFS目录时报错Failed on local exception: com.google.protobuf.InvalidProtocolBufferException
./bin/spark-shell启动shell环境后,提交命令sc.textFile(“hdfs://test-szzt01:9000/test/hello.txt”).flatMap(.split(" ")).map((,1)).reduceByKey(+).saveAsTextFile(“hdfs://test-szzt01:9000/test/output”)spark报异常这里时H...原创 2019-03-19 13:30:53 · 2436 阅读 · 0 评论