和笙-CSDN博客

原创 ambari添加ranger服务管理hdfs和hive遇到的问题

ranger开启hdfs插件后活自动生成一个默认的service，然后在点击service进入添加police。开启hive插件没有自动生成默认的service，查看ranger.admin.log(access_log.2020-09-17.log)可以看到下面信息10.31.53.83 - - [17/Sep/2020:09:04:07 +0000] "GET /service/plugins/policies/download/HDP_BigData_hive?lastKnownVersion=

2020-09-17 17:15:30 888

原创 docker部署flink standalone HA

简单的standalone模式可以从dockerhub上找到。HA：先从https://github.com/docker-flink/docker-flink这个网址把文件拉取出来。然后把文件放到Linux系统，进入文件目录。执行./add-version.sh -r flink-release -f flink-versionflink-release 是指已经build的文件目录...

2019-12-25 15:40:42 2090

原创 Flink启动报Could not resolve ResourceManager address

1 可能是resourcemanager进程没启动2 两个NN都是standby状态3 检查flink-conf.yml文件里的hdfs文件路径是否正确还有就是用docker部署flink时也遇到这个问题了，还在处理中。...

2019-12-24 14:11:48 2069 2

原创低级错误 too many open file

出现这个错误一个原因是打开文件过多或者是打开socket过多，网上有解决办法。还有一种可能是因为程序出错，我的错误是kafka生产者程序中用Springboot 一直在new kafkaTemplate（），也就是一直在和kafka产生新的连接导致错误。...

2019-12-20 08:43:00 204

原创 datanode 无法启动，错误All specified directories are failed to load或者livenodes数量为1

解决办法初始化namenode另一种方法说把version覆盖，这种方法没用，虽然datanode启动了，但是可以在web界面看到datanode并没有增加。

2019-12-17 14:31:31 183

原创 zookeeper Cannot assign requested address

系统一直分配端口导致没有端口可以使用netstat -anp ｜ grep 2888发现有很多WAIT_TIME ，用了网上推荐的办法还是没有解决。最后重新安装zookeeper解决问题。...

2019-12-17 11:24:01 636

转载 flink on yarn的两种任务提交方式

转载自：https://www.cnblogs.com/asker009/p/11327533.html

2019-12-16 15:09:39 514

原创 flink启动报错

flink 启动报错flink on yarn 启动报错：连接不到xxx：8032我的原因是flink.yaml中dfs的地址错误。还有就是启动时进行内存检测，内存不足报错：2018-05-19 15:30:10,456 WARN akka.remote.ReliableDeliverySupervisor - Association wi...

2019-12-16 14:45:12 2020

原创 atlas导入hive元数据遇到的错误

nosuchmethoderror:com/fasterxml/jackson/databind/util/beanutil解决办法：删除掉hook/hive/atlas-hive-plugin-impl/Jackson-databind-*

2019-09-05 16:11:33 1324 3

原创 zabbix邮件报警

在zabbix安装完成之后首先更改管理-报警媒介类型smtp的相关配置可以到对应的邮箱设置里寻找，而且要正确，不然会遇到各种奇怪的问题。强调一点安全连接和认证必须打开。不然会发生：error receiving initial string from smtp server :[4]interrupted system call邮箱密码我使用了授权码，不知道邮箱的密码是否可以。然后...

2019-08-28 10:35:36 655

原创 spark消费protobuf序列化的kafka数据存到hbase

遇见问题寻求解决办法因为不知道是什么原因引起了这个问题，所以就尽可能详尽的把所有东西都贴上了，如果是没用的可以自行跳过。流程是从用spark从kakfa读取数据，将数据存储到hbase里面。数据用protobuf序列化，所以反序列化时用到了protobuf里面的ListValue方法。然后本地运行得时候数据可以存到hbase，但是将程序打成jar包在集群上用standalone模式运行会报错...

2019-08-07 16:30:37 1422 3

weixin_45230582的博客