问题1:
不能够从hadoop104消费Flume下沉数据到HDFS
出现的情况:
1.checkpoint 和 data中的堆积数据过多导致阻塞,
删除里面的数据即可
2.lzo配置没有完成,conf配置文件中注释掉即可
3.gua包没有删除,导致jar包冲突
4. 拦截器 包的名称 要统一,zpark 或者自己的包的名称
问题2:
总是报GC错,解决方法:
修改/opt/module/hadoop-3.1.3/etc/hadoop路径下
vi hadoop-env.sh
104行:
export HADOOP_CLIENT_OPTS="-Xmx2g $HADOOP_CLIENT_OPTS"
修改/opt/module/hive/conf 路径下 (先复制hive-env.sh.template 为hive-env.sh)
vi hive-env.sh
41行:
export HADOOP_HEAPSIZE=2048
问题3:
hadoop102: namenode is running as process 1381. Stop it first.
原因:通常非正常关闭虚拟机,重新启动集群
问题4:
症状: hive能够建表,不能够添加数据
原因: 1、 配置文件中mysql 配置不正确, 产生拒绝访问异常
2、lzo格式压缩数据, lzo没有正确配置
3、免密登陆突然失败了
4、权限问题 zpark用户没有问题,hadoop102也没问题,换成 zs1001 zhangsan
5、网络问题