hadoop
文章平均质量分 60
iteye_10645
这个作者很懒,什么都没留下…
展开
-
64位操作系统下重新编译hadoop-2.2.0
操作系统oracle linux 5.8 64bit 1.yum光盘源设置 vi /etc/yum.repos.d/rhel-debuginfo.repo [base] name=Server Local Sources baseurl=file:///media/Server enabled=1 gpcheck=1 gpgkey=file:///media/RPM-GPG-K...原创 2015-11-30 16:39:31 · 148 阅读 · 0 评论 -
sqoop自定义字符串分隔符
Sqoop提供的--fields-terminated-by选项可以支持指定自定义的分隔符,但是它只支持单字节的分隔符,对于我们特殊的需求:希望使用双字节的“”,默认的是不支持的。 Sqoop在进行每一次的导出任务时,都会调用codegen,生成一个java文件,并编译打包成一个jar,供MapReduce使用。这个java文件包装了一系列的对导出数据的访问接口,我们可以尝试通过对这个j...原创 2015-12-02 12:57:46 · 956 阅读 · 0 评论 -
Hadoop常见问题及解决办法
1:Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out Answer: 程序里面需要打开多个文件,进行分析,系统一般默认数量是1024,(用ulimit -a可以看到)对于正常使用是够了,但是对于程序来讲,就太少了。 修改办法: 修改2个文件。 /etc/security/limits.conf ...原创 2016-08-11 13:48:41 · 243 阅读 · 0 评论