![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
水袖怀颜
本人长期从事JAVA开发,大数据开发,并对此深感兴趣,对JAVA,大数据有一定自己的开发与见解,欢迎全国各地的朋友一起探讨。
展开
-
MapReduceOnYarn(iMapReduce在Yarn执行的流程分享)
1.客户端(client)向集群管理者(ResourceManager)发出命令请求 2.集群管理者(ResourceManager)接收到请求后,集群的应用管理者(ApplicationsMagager)会告诉节点管理者(NodeManager)去创建节点应用管理者(MR ApplicationMaster) 3.节点应用管理者(MR ApplicationMaster)创建完成之后会告原创 2017-03-13 00:14:26 · 1094 阅读 · 0 评论 -
Windows下Eclispe远程开发Mapreduce程序
1.将hadoop-eclipse-plugin-2.6.0.jar 拷贝到${MyEclispe_HOME} /plugins 2.Windows安装hadoop 1)解压hadoop-2.5.0.tar.gz到D:/根目录 右键winrar--》属性--》兼容性-》勾选 以管理员运行此程序 打开==》浏览到到hadoop-2.5.0.tar.gz =原创 2017-03-13 02:38:03 · 271 阅读 · 0 评论 -
Sqoop导出数据
1).从HDFS、Hive表导出到Mysql 由于hive表的数据库和表其实就是HDFS上的目录和文件,所以从Hive表导出数据就是从HDFS对应的目录导出数据 先在mysql中创建表接收导出数据 create table hive2mysql( deptno int, deptname varchar(20), address varchar(20) );原创 2017-03-13 07:28:09 · 282 阅读 · 0 评论 -
hadoop伪分布式环境apache版本切换为CDH
1.在/opt/modules下创建一个cdh空目录 $ mkdir cdh //cdh版本的hadoop, hive,sqoop安装在此目录下 2.解压cdh版本的hadoop,hive,sqoop $ tar -zxf hadoop-2.5.0-cdh5.3.6.tar.gz -C /opt/modules/cdh $ tar -zxf hive-0.13.1-cdh5.3原创 2017-03-13 07:32:47 · 472 阅读 · 0 评论 -
Hadoop启动namenode和datanode
格式化文件系统 $ bin/hdfs namenode -format 启动namenode 和datanode 服务 $ sbin/hadoop-daemon.sh start namenode 启动namenode $ sbin/hadoop-daemon.sh start datanode 启动datanode 查看服务进程 [beifeng@hadoop-senior hado原创 2017-03-13 07:36:56 · 400 阅读 · 0 评论 -
Sqoop使用和简介
Sqoop 工具是Hadoop环境下连接关系数据库,和hadoop存储系统的桥梁,支持多种关系数据源和hive,hdfs,hbase的相互导入。一般情况下,关系数据表存在于线上环境的备份环境,需要每天进行数据导入,根据每天的数据量而言,sqoop可以全表导入,对于每天产生的数据量不是很大的情形可以全表导入,但是sqoop也提供了增量数据导入的机制。 下面介绍几个常用的sqoop的命令,以及一转载 2017-03-13 07:42:53 · 241 阅读 · 0 评论 -
hadoop伪分布模式环境安装
一:本地模式配置 1.安装jdk,解压jdk到/opt/modules下 2.配置环境变量,修改/etc/profile export JAVA_HOME=/opt/modules/jdk1.7.0_67 export PATH=$PATH:$JAVA_HOME/bin 3.解压hadoop到/opt/modules下 4.配置$HADOOP_HOME/etc/hadoop/had原创 2017-03-14 00:01:16 · 187 阅读 · 0 评论