自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(6)
  • 资源 (1)
  • 收藏
  • 关注

原创 Hadoop-2.3.0-cdh5.0.0获取源码及编译

1、安装Maven首先下载Maven软件包,下载地址为:http://apache.fayea.com/apache-mirror/maven/maven-3/3.1.1/binaries/apache-maven-3.1.1-bin.tar.gz下载后解压,设置MAVEN_HOME和PATH变量。设置好后,可以使用mvn -version检查是否安装成功。解压命令:

2014-11-24 16:56:42 573

原创 CDH5-YARN简述

ResourceManager 代替 JobtrackerNodeManagers 代替 TaskTracker针对Scheduler Defaults:MRv1:Cloudera Manager 默认FIFO。CDH5默认FIFO。共包括:FIFO,Fair Scheduler,Capacity Scheduler。MRv2(YARN):Cloudera

2014-11-24 16:55:59 990

原创 CDH5新特性及Bug修复

1、  Cloudera建议使用YARN(目前已经可以用于生产环境)。2、  CDH5不再支持JDK1.6,必须按照JDK1.7.(1.7.0_45)且只有64位包,无32位包。 仅列出常用的组件:HDFS,HBASE,MAPREDUCE5.0.0版本1、Hbase(1)Hbase-0.960 JMX 内RegionServer列表恢复被取消了 3、  HDFS

2014-11-24 16:55:05 646

原创 windows eclipse下hadoop开发,常见问题

1、hadoop程序问题:java.lang.IllegalArgumentException: Wrong FS: hdfs:/ expected file:///  2、hdfs上传文件,修改文件总是在windows本地机器上,而不是原创hdfs上。(困扰了很久)   1和2的解放方法是:   需要把hadoop集群上的core-site.xml和hdfs-site.xml放到当前

2014-11-24 16:54:27 246

原创 CDH4.4 MR1编译eclipse插件

本文写的比较乱。都是编译时,临时写上去的,没时间整理。博客里上传图片费事。如果有问题,可以联系我,我可以发个word文档,里面有截图。1、安装Maven首先下载Maven软件包,下载地址为:http://apache.fayea.com/apache-mirror/maven/maven-3/3.1.1/binaries/apache-maven-3.1.1-bin.tar.gz

2014-11-24 16:53:30 362

原创 CDH4.1.2集群安装配置详细过程

CDH4.1.2CDH 是Cloudera 完全开源的Hadoop 分布式系统架构,为了满足企业的需求而特别构建的系统。即一个开源的企业级分布式存储系统。全称:Cloudera Hadoop。它是在Apache Hadoop基础上打入了很多patch。使之性能更好,更加满足生产环境。CDH4.1.2使用的是apache 的hadoop 2.0版本,与之前的稳定的hadoop-1.x相比

2014-11-24 16:51:22 593

Hadoop HA(QJM)高可集群性配置

基于Journnode的Hadoop Master节点主备自动切换。

2015-09-22

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除