![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 73
youkimra
一步一步的来!
展开
-
转-》hadoop 性能因素
1. 通常每个服务器的Map + Reduce总数跟cpu核数大致一致,经验表现为略大于 cpu核数的设置可以发挥最大性能,比如8核配5个map, 5个reduce 2. Map数跟Reduce配置个数通常配置相同 3. Hadoop允许集群里的不同节点配置Map跟Reduce数不同,避免服务器开销不均 匀 4. HDFS block大小默认64M推荐128M 5. HDF...原创 2011-05-19 17:20:51 · 307 阅读 · 0 评论 -
hadoop 压缩文件处理
转: 自从Hadoop集群搭建以来,我们一直使用的是Gzip进行压缩 当时,我对gzip压缩过的文件和原始的log文件分别跑MapReduce测试,最终执行速度基本差不多 而且Hadoop原生支持Gzip解压,所以,当时就直接采用了Gzip压缩的方式 关于Lzo压缩,twitter有一篇文章,介绍的比较详细,见这里: Lzo压缩相比Gzip压缩,有如下特点: 压...原创 2011-09-13 12:01:33 · 247 阅读 · 0 评论 -
linux 上通过脚本运行jar的时候找不到java_home
1 首先查看服务器的java 环境变量 env |grep -i java 得到: JAVA_LIBRARY_PATH=/opt/sohuhadoop/hadoop/lib/native/Linux-amd64-64 JAVA_HOME=/usr/local/jdk 然后 export JAVA_LIBRARY_PATH=/opt/sohuhadoop/hadoop/lib/...2011-09-21 16:46:35 · 1058 阅读 · 0 评论 -
郁闷的hadoop reduce不能运行
昨天在修改自己程序的时候运到一个问题,首先修改程序的原因是修改前的版本所有逻辑处理都在map中执行,没有用到reduce。后来觉得将一部分逻辑处理放在map,一部分让在reduce中。 在重写reduce方法后部署到集群中运行reduce方法体中代码不能运行,起初以为是job配置时写错了format。经过多次调整并确保格式没有任何问题,那问题到底在哪呢,我们看看重写的reduce方法: 这...2011-06-29 10:20:40 · 273 阅读 · 0 评论 -
hbase 安装经历
转载的: 前提是HBase-0.90.4与Hadoop-0.20.203.0 以下两行红字可以解决HBase与Hadoop的连接问题(连接需要一致性的版本) 最近打算试试Hbase,Hadoop是前几天已经装好的,三台虚拟机(机房老师看到说:“你还真敢玩”) hadoop 版本0.20.203.0 hbase版本0.90.4 hbase按照网上文档配置完成以后总是出现(maste...原创 2011-11-23 16:55:53 · 102 阅读 · 0 评论