- 博客(9)
- 资源 (3)
- 收藏
- 关注
原创 Sqoop-1.4.6安装部署及详细使用介绍
之所以选择Sqoop1是因为Sqoop2目前问题太多。无法正常使用,综合比较后选择Sqoop1。Sqoop1安装配置比较简单一、安装部署(1)、下载地址:http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.6-cdh5.5.2.tar.gz解压到/opt/cdh5/sqoop(2)、拷贝mysql的jdbc驱动包mysql-conn
2016-02-26 10:26:52 27586
原创 Spark on Yarn安装过程遇到的错误
错误1:运行yarn clien模式时候[main]client.RMProxy (RMProxy.java:createRMProxy(92)) - Connecting to ResourceManagerat /0.0.0.0:80322014-11-2615:16:35,416 INFO [main] ipc.Client(Client.java:handleConnecti
2014-11-28 14:44:52 3992
原创 Spark 1.1.0 with CDH5.2 安装部署
本文详细介绍了Spark在CDH5.2 HA环境上的安装步骤,及详细的测试过程。对初学Spark和CDH5.2的人帮助会很大。配置过程中遇到连不上yarn问题,内存设置问题,web ui界面不显示等问题。
2014-11-27 15:01:11 929
原创 CDH4.1.2集群安装配置详细过程
CDH4.1.2CDH 是Cloudera 完全开源的Hadoop 分布式系统架构,为了满足企业的需求而特别构建的系统。即一个开源的企业级分布式存储系统。全称:Cloudera Hadoop。它是在Apache Hadoop基础上打入了很多patch。使之性能更好,更加满足生产环境。CDH4.1.2使用的是apache 的hadoop 2.0版本,与之前的稳定的hadoop-1.x相比
2014-11-27 14:59:53 500
原创 CDH4.4 MR1编译eclipse插件
本文写的比较乱。都是编译时,临时写上去的,没时间整理。博客里上传图片费事。如果有问题,可以联系我,我可以发个word文档,里面有截图。1、安装Maven首先下载Maven软件包,下载地址为:http://apache.fayea.com/apache-mirror/maven/maven-3/3.1.1/binaries/apache-maven-3.1.1-bin.tar.gz
2014-11-27 14:59:31 766
原创 windows eclipse下hadoop开发,常见问题
1、hadoop程序问题:java.lang.IllegalArgumentException: Wrong FS: hdfs:/ expected file:/// 2、hdfs上传文件,修改文件总是在windows本地机器上,而不是原创hdfs上。(困扰了很久) 1和2的解放方法是: 需要把hadoop集群上的core-site.xml和hdfs-site.xml放到当前
2014-11-27 14:58:45 386
原创 CDH5新特性及Bug修复
1、 Cloudera建议使用YARN(目前已经可以用于生产环境)。2、 CDH5不再支持JDK1.6,必须按照JDK1.7.(1.7.0_45)且只有64位包,无32位包。 仅列出常用的组件:HDFS,HBASE,MAPREDUCE5.0.0版本1、Hbase(1)Hbase-0.960 JMX 内RegionServer列表恢复被取消了 3、 HDFS
2014-11-27 14:58:07 1656
原创 CDH5-YARN简述
ResourceManager 代替 JobtrackerNodeManagers 代替 TaskTracker针对Scheduler Defaults:MRv1:Cloudera Manager 默认FIFO。CDH5默认FIFO。共包括:FIFO,Fair Scheduler,Capacity Scheduler。MRv2(YARN):Cloudera
2014-11-27 14:57:42 558
原创 Hadoop-2.3.0-cdh5.0.0获取源码及编译
另一个账号文章迁移到这里。 1、安装Maven首先下载Maven软件包,下载地址为:http://apache.fayea.com/apache-mirror/maven/maven-3/3.1.1/binaries/apache-maven-3.1.1-bin.tar.gz下载后解压,设置MAVEN_HOME和PATH变量。设置好后,可以使用mvn -version检查是否安装成
2014-11-27 14:57:04 389
winsock网络编程指南
2010-08-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人