hue
lishengping_max
专注大数据领域
展开
-
Oozie shell动作内存限制
我们有一个oozie工作流,其 shell操作需要比Yarn默认提供的map任务更多的内存.我们怎样才能给它更多的记忆?我们尝试将以下配置添加到操作中:<configuration> <property> <name>mapreduce.map.memory.mb</name> <value>6144</value> <!-- for example --> </property>原创 2020-12-15 20:21:58 · 266 阅读 · 0 评论 -
CDH Oozie邮件配置
1.启动用SAL,任务失败自动发送邮件一、从Cloudera Manager进入Oozie配置二、搜索框输入email,配置邮件相关字段,总共5个地方1、Oozie 电子邮件操作 SMTP 主机:即邮件服务器主机名,比如smtp.163.com、smtp.qq.com等2、Oozie 电子邮件操作发件人地址:邮件发件人地址,如xxx.163.com3、启用身份验证4、Oozie 电...转载 2020-04-10 10:57:46 · 613 阅读 · 0 评论 -
Hue运行报错Permission denied: user=hadoop, access=EXECUTE
错误For more detailed output, check application tracking page:http://test-xbsjpt-000602:8088/proxy/application_1579250627232_0012/Then, click on links to logs of each attempt.Diagnostics: Permission d...原创 2020-01-19 14:21:00 · 1733 阅读 · 0 评论 -
Hue运行shell脚本,找不到文件
报错如下java.io.IOException: Cannot run program "ods_cgi_app_dev.sh" (in directory "/data/coredump/yarn/nm/usercache/hadoop/appcache/application_1579250627232_0003/container_1579250627232_0003_01_000002"...原创 2020-01-19 10:59:28 · 898 阅读 · 0 评论 -
hue file browser配置httpfs
配置1.在HDFS——实例——添加角色实例——选择httpFs主机2.在实例页面启动httpFs服务3.在HUE——配置webhdfs_url选择一个httpfs节点4.重启HUEhttpfs和webhdfs两种服务区别如下两者都是基于REST的HDFS API,使得一个集群外的host可以不用安装HADOOP和JAVA环境就可以对集群内的HADOOP进行访问,并且client...原创 2019-08-07 16:42:22 · 603 阅读 · 2 评论