![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
cdh
白开水v5
这个作者很懒,什么都没留下…
展开
-
CDH6.2配置spark.yarn.jars目录
按照官网的文档采用以下操作即可:进入CM界面 选择spark服务 配置 搜索spark-defaults.conf 添加spark.yarn.jars=hdfs://ns1/user/spark/jars 部署客户端并重启但实际重启后发现节点上的配置文件依然是默认属性,没有分发覆盖,具体还没找到解决办法。暂时采用软链的方式,如果不得已在CM界面修改了配置并部署,则需要重新创建软链...原创 2019-08-26 17:50:58 · 1775 阅读 · 1 评论 -
CDH在yarn上运行程序乱码
安装完成CDH后,在yarn上不管是使用hive运行mapreduce还是spark,中文全都会乱码。1. linux的环境变量设置字符集vi /etc/profileexport LANG=zh_CN.UTF-82. 修改mapreduce的环境变量hadoop-env.shexport HADOOP_OPTS="-server -Dfile.encoding=...原创 2019-08-26 17:53:46 · 4288 阅读 · 9 评论