- 博客(5)
- 收藏
- 关注
RSS订阅原创 .在重新部署了oozie-site.xml之后，不能够寻找到工作流作业对应的hadoop jobid
其因在于对history和tem的文件权限不够。我们由于是eclipse直接连接到hdfs上的，在eclipse直接创建文件以及上传文件，导致我 们对这些文件的访问权限就是我们自己本地的电脑的username，所以没有root权限那么高，以至于在使用oozie的时候（我并不知道为什么我们在 创建hadoop项目的mapreduce的时候为什么就能直接访问hdfs下的东西），不能够对所创建的这些
2016-08-18 16:33:34
475
原创 oozie工作流调度hadoop的程序的过程中提示为找不到sharelib
因为我们用的是cdh5，所以就可以在cdh的manager里面直接对虚拟机伤的文件进行操作，如果你是自己配置的或者本地的集群，那么操作应该都是一样的，只要在oozie-site.xml里面添加 oozie.use.system.libpath true Oozie lib path. 就可以了，然后重新部署
2016-08-18 16:31:47
683
原创 初次运行mapreduce作业报空指针异常
在运行mapreduce作业的时候，报空指针错误。导致运行不能够正常运行。 解决方案：所谓的空指针异常不一定就是输入了null，在这个问题中主要的错误是未能在环境变量中配置hadoop的环境，可以在程序中直接 加入代码：System.setProperty("hadoop.home.dir", "F:/hadoop集群/hadoop-2.6.0"); System.setProperty("
2016-08-18 16:24:15
3479
1
原创 windows平台下的eclipse远程连接cdh5
实习了已有一个礼拜之久，那么我就来写写我最近在大数据方面遇到的一些bug。熟悉mapreduce时，在windows平台下用eclipse远程连接hadoop进行开发的时候，直接从网上下载hadoop在eclipse的对应的插件，放到eclipse的插件目录下，网上有其他的教程，我就不一一说了，我就说说我在别人的经验之上遇到的新的问题把，在建立mapreduce的项目初期，要求配置端口号，我们使用
2016-08-18 16:16:43
390
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人