BigData
文章平均质量分 79
tusing
.........
展开
-
使用hadoop进行大规模数据的全局排序
1. Hellow hadoop~~!Hadoop(某人儿子的一只虚拟大象的名字)是一个复杂到极致,又简单到极致的东西。说它复杂,是因为一个hadoop集群往往有几十台甚至成百上千台low cost的计算机组成,你运行的每一个任务都要在这些计算机上做任务的分发,执行中间数据排序以及最后的汇总,期间还包含节点发现,任务的重试,故障节点替换等等等等的维护以及异常情况处理。谁叫hadoop集转载 2013-06-21 14:32:27 · 924 阅读 · 0 评论 -
Hadoop常见问题及解决办法
1:Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-outAnswer:程序里面需要打开多个文件,进行分析,系统一般默认数量是1024,(用ulimit -a可以看到)对于正常使用是够了,但是对于程序来讲,就太少了。修改办法:修改2个文件。 /etc/security/limits.conf转载 2013-09-05 15:40:38 · 1588 阅读 · 0 评论 -
用虚拟机在centOS系统搭建hadoop分布式集群(updating...)
目标:搭建包含多台masters和多台slaves的hadoop分布式集群一、安装系统1 安装virtualbox2 安装centos(可参考百度文库:centOS6.3搭建LAMP平台)由于就一台主机(内存4G,双核CPU),因此只安装4个虚拟机系统,内存分配512/512/256/256,也可安装好一个,然后用virtualbox复制功能(此时需要修改网络设置eth0,同时原创 2013-09-03 15:12:12 · 1414 阅读 · 4 评论