1、hue页面job browser打开报错No Resource Manager are available
app_blacklist: search,security,zookeeper,metastore,hbase,sqoop,jobbrowser,filebrowser
这里把jobbrowser,filebrowser都给去掉吧。
然后重启hue发现还是报错。不行还是查看了下hue的日志吧
查看日志发现这个报错就一目了然了。
hadoop.http.authentication.simple.anonymous.allowed
hdfs里面把这个参数改成true。然后重启下resourcemanager就可以了。
2、使用oozie调度sqoop报错找不到类
解决办法:可以到hdfs上的共享目录上传类的对应jar包
3、使用oozie的时候报错,找不到共享库
使用oozie用户执行命令生成共享库 oozie-setup.sh sharelib create -fs hdfs://emr-cluster -locallib /lib/oozie-current/oozie-sharelib-5.1.0.tar.gz
4、Group bundle-submit is not defined
修改oozie.service.ELService.groups参数
逗号分隔,加上 bundle-submit,重启oozie即可。
5、使用sqoop时,报错
在hue上使用–query 的话需要一个参数配置才行
import --connect jdbc:mysql://emr-header-1:3306/test --username root --password EMRroot1234 --query 'SELECT id, name FROM sqoop_test where $CONDITIONS' --target-dir /user/hive/external/sqoop_test --delete-target-dir --hive-table sqoop_test --fields-terminated-by "," -m 1
这个可以正常运行
但是添加了–hive-import 和–hive-overwrite就会报错:Caused by: java.lang.ClassNotFoundException: jline.console.completer.ArgumentCompleter$ArgumentDelimiter
说明缺少hive的包
报错:ERROR tool.ImportTool: Import failed: java.io.IOException: Hive CliDriver exited with status=-101
说明缺少jaskson的包
6、使用hue的hive时,hive的表的列名加载失败
配置hive-site这个参数试试hive.security.authorization.sqlstd.confwhitelist.append = QUERY_TIMEOUT_S 然后重启下hiveserver2
7、hue使用workflow时脚本执行一直卡住在50%状态,但是实际作业yarn已经运行成功
修改一下oozie.base.url的值为http://xxx:11000/oozie,然后重启oozie
8、hue使用impala报错: ‘ascii’ codec can’t encode characters in position
解决方法:修改配置后需要重启
/opt/apps/hue/build/env/lib/python2.7/site-packages/sitecustomize.py
然后内容写:
#encoding=utf8
import sys
reload(sys)
sys.setdefaultencoding(‘utf8’)