- 博客(9)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Sqoop-1.4.6安装部署及详细使用介绍
之所以选择Sqoop1是因为Sqoop2目前问题太多。无法正常使用，综合比较后选择Sqoop1。Sqoop1安装配置比较简单一、安装部署（1）、下载地址：http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.6-cdh5.5.2.tar.gz解压到／opt/cdh5/sqoop（2）、拷贝mysql的jdbc驱动包mysql-conn
2016-02-26 10:26:52
27388
原创 Spark on Yarn安装过程遇到的错误
错误1：运行yarn clien模式时候[main]client.RMProxy (RMProxy.java:createRMProxy(92)) - Connecting to ResourceManagerat /0.0.0.0:80322014-11-2615:16:35,416 INFO [main] ipc.Client(Client.java:handleConnecti
2014-11-28 14:44:52
3977
原创 Spark 1.1.0 with CDH5.2 安装部署
本文详细介绍了Spark在CDH5.2 HA环境上的安装步骤，及详细的测试过程。对初学Spark和CDH5.2的人帮助会很大。配置过程中遇到连不上yarn问题，内存设置问题，web ui界面不显示等问题。
2014-11-27 15:01:11
902
原创 CDH4.1.2集群安装配置详细过程
CDH4.1.2CDH 是Cloudera 完全开源的Hadoop 分布式系统架构，为了满足企业的需求而特别构建的系统。即一个开源的企业级分布式存储系统。全称：Cloudera Hadoop。它是在Apache Hadoop基础上打入了很多patch。使之性能更好，更加满足生产环境。CDH4.1.2使用的是apache 的hadoop 2.0版本，与之前的稳定的hadoop-1.x相比
2014-11-27 14:59:53
474
原创 CDH4.4 MR1编译eclipse插件
本文写的比较乱。都是编译时，临时写上去的，没时间整理。博客里上传图片费事。如果有问题，可以联系我，我可以发个word文档，里面有截图。1、安装Maven首先下载Maven软件包，下载地址为：http://apache.fayea.com/apache-mirror/maven/maven-3/3.1.1/binaries/apache-maven-3.1.1-bin.tar.gz
2014-11-27 14:59:31
754
原创 windows eclipse下hadoop开发，常见问题
1、hadoop程序问题：java.lang.IllegalArgumentException: Wrong FS: hdfs:/ expected file:/// 2、hdfs上传文件，修改文件总是在windows本地机器上，而不是原创hdfs上。（困扰了很久） 1和2的解放方法是： 需要把hadoop集群上的core-site.xml和hdfs-site.xml放到当前
2014-11-27 14:58:45
378
原创 CDH5新特性及Bug修复
1、 Cloudera建议使用YARN（目前已经可以用于生产环境）。2、 CDH5不再支持JDK1.6，必须按照JDK1.7.（1.7.0_45）且只有64位包，无32位包。 仅列出常用的组件：HDFS，HBASE，MAPREDUCE5.0.0版本1、Hbase（1）Hbase-0.960 JMX 内RegionServer列表恢复被取消了 3、 HDFS
2014-11-27 14:58:07
1645
原创 CDH5-YARN简述
ResourceManager 代替 JobtrackerNodeManagers 代替 TaskTracker针对Scheduler Defaults：MRv1：Cloudera Manager 默认FIFO。CDH5默认FIFO。共包括：FIFO，Fair Scheduler，Capacity Scheduler。MRv2（YARN）：Cloudera
2014-11-27 14:57:42
548
原创 Hadoop-2.3.0-cdh5.0.0获取源码及编译
另一个账号文章迁移到这里。 1、安装Maven首先下载Maven软件包，下载地址为：http://apache.fayea.com/apache-mirror/maven/maven-3/3.1.1/binaries/apache-maven-3.1.1-bin.tar.gz下载后解压，设置MAVEN_HOME和PATH变量。设置好后，可以使用mvn -version检查是否安装成
2014-11-27 14:57:04
382
winsock网络编程指南
2010-08-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人