- 博客(6)
- 资源 (1)
- 收藏
- 关注
原创 Hadoop-2.3.0-cdh5.0.0获取源码及编译
1、安装Maven首先下载Maven软件包,下载地址为:http://apache.fayea.com/apache-mirror/maven/maven-3/3.1.1/binaries/apache-maven-3.1.1-bin.tar.gz下载后解压,设置MAVEN_HOME和PATH变量。设置好后,可以使用mvn -version检查是否安装成功。解压命令:
2014-11-24 16:56:42
573
原创 CDH5-YARN简述
ResourceManager 代替 JobtrackerNodeManagers 代替 TaskTracker针对Scheduler Defaults:MRv1:Cloudera Manager 默认FIFO。CDH5默认FIFO。共包括:FIFO,Fair Scheduler,Capacity Scheduler。MRv2(YARN):Cloudera
2014-11-24 16:55:59
990
原创 CDH5新特性及Bug修复
1、 Cloudera建议使用YARN(目前已经可以用于生产环境)。2、 CDH5不再支持JDK1.6,必须按照JDK1.7.(1.7.0_45)且只有64位包,无32位包。 仅列出常用的组件:HDFS,HBASE,MAPREDUCE5.0.0版本1、Hbase(1)Hbase-0.960 JMX 内RegionServer列表恢复被取消了 3、 HDFS
2014-11-24 16:55:05
646
原创 windows eclipse下hadoop开发,常见问题
1、hadoop程序问题:java.lang.IllegalArgumentException: Wrong FS: hdfs:/ expected file:/// 2、hdfs上传文件,修改文件总是在windows本地机器上,而不是原创hdfs上。(困扰了很久) 1和2的解放方法是: 需要把hadoop集群上的core-site.xml和hdfs-site.xml放到当前
2014-11-24 16:54:27
246
原创 CDH4.4 MR1编译eclipse插件
本文写的比较乱。都是编译时,临时写上去的,没时间整理。博客里上传图片费事。如果有问题,可以联系我,我可以发个word文档,里面有截图。1、安装Maven首先下载Maven软件包,下载地址为:http://apache.fayea.com/apache-mirror/maven/maven-3/3.1.1/binaries/apache-maven-3.1.1-bin.tar.gz
2014-11-24 16:53:30
362
原创 CDH4.1.2集群安装配置详细过程
CDH4.1.2CDH 是Cloudera 完全开源的Hadoop 分布式系统架构,为了满足企业的需求而特别构建的系统。即一个开源的企业级分布式存储系统。全称:Cloudera Hadoop。它是在Apache Hadoop基础上打入了很多patch。使之性能更好,更加满足生产环境。CDH4.1.2使用的是apache 的hadoop 2.0版本,与之前的稳定的hadoop-1.x相比
2014-11-24 16:51:22
593
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人