hadoop
bsf5521
这个作者很懒,什么都没留下…
展开
-
spark在eclipse中遇到的问题及处理措施_标记下
环境:cdh5.9 spark1.6本地开发环境:下载了最新的ide:scala-SDK-4.6.0-vfinal-2.12-win32.win32.x86_64 开始没有使用maven,而是使用eclipse直接加jar包的方式。下面截图报错:More than one scala library found in the build path (G:/scala-SD原创 2017-05-23 16:19:44 · 393 阅读 · 0 评论 -
CDH5.9安装
注:本安装说明是本人综合网上的安装文档参考得到的,可能因环境的不同,或者其他原因坑比较多。参考文档http://www.linuxidc.com/Linux/2017-01/139518.htmhttp://blog.csdn.net/u010022051/article/details/512057651、需要准备的文件cloudera原创 2017-06-23 14:00:49 · 1110 阅读 · 0 评论 -
cdh spark history无法查看历史数据
问题:新装cdh5.9,使用新建的hadoop用户运行spark没有问题,但是查看spark history的时候发现无法查看但是发现文件是存在的:如图可见:发现系统默认是用spark用户运行的,使用hadoop fs -chown -r spark:spark 后历史文件可以查看,但是hadoop用户新执行的任务都是hadoop:hadoop仍然不可以查看。故怀疑是执行原创 2017-06-28 09:54:33 · 2711 阅读 · 0 评论