![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 60
iteye_10645
这个作者很懒,什么都没留下…
展开
-
64位操作系统下重新编译hadoop-2.2.0
操作系统oracle linux 5.8 64bit1.yum光盘源设置vi /etc/yum.repos.d/rhel-debuginfo.repo[base]name=Server Local Sourcesbaseurl=file:///media/Serverenabled=1gpcheck=1gpgkey=file:///media/RPM-GPG-K...原创 2015-11-30 16:39:31 · 138 阅读 · 0 评论 -
sqoop自定义字符串分隔符
Sqoop提供的--fields-terminated-by选项可以支持指定自定义的分隔符,但是它只支持单字节的分隔符,对于我们特殊的需求:希望使用双字节的“”,默认的是不支持的。Sqoop在进行每一次的导出任务时,都会调用codegen,生成一个java文件,并编译打包成一个jar,供MapReduce使用。这个java文件包装了一系列的对导出数据的访问接口,我们可以尝试通过对这个j...原创 2015-12-02 12:57:46 · 932 阅读 · 0 评论 -
Hadoop常见问题及解决办法
1:Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out Answer:程序里面需要打开多个文件,进行分析,系统一般默认数量是1024,(用ulimit -a可以看到)对于正常使用是够了,但是对于程序来讲,就太少了。修改办法:修改2个文件。 /etc/security/limits.conf...原创 2016-08-11 13:48:41 · 232 阅读 · 0 评论