sqoop
水袖怀颜
本人长期从事JAVA开发,大数据开发,并对此深感兴趣,对JAVA,大数据有一定自己的开发与见解,欢迎全国各地的朋友一起探讨。
展开
-
Sqoop导出数据
1).从HDFS、Hive表导出到Mysql 由于hive表的数据库和表其实就是HDFS上的目录和文件,所以从Hive表导出数据就是从HDFS对应的目录导出数据 先在mysql中创建表接收导出数据 create table hive2mysql( deptno int, deptname varchar(20), address varchar(20) );原创 2017-03-13 07:28:09 · 287 阅读 · 0 评论 -
Sqoop导入数据
1)导入 MySQL -> HDFS (1) 全表导入 bin/sqoop import \ --connect jdbc:mysql://bigdata.ibeifeng.com:3306/testdb \ --username root \ --password root123 \ --table user \ --target-dir /input/import \ --原创 2017-03-13 07:29:56 · 337 阅读 · 0 评论 -
搭建SQOOP环境
1.${SQOOP_HOME}/conf/ $ cp sqoop-env-template.sh sqoop-env.sh //拷贝模板生成配置环境目录 =============修改sqoop-env.sh 配置文件 #Set path to where bin/hadoop is available export HADOOP_COMMON_HOME=/op原创 2017-03-13 07:31:17 · 272 阅读 · 0 评论 -
hadoop伪分布式环境apache版本切换为CDH
1.在/opt/modules下创建一个cdh空目录 $ mkdir cdh //cdh版本的hadoop, hive,sqoop安装在此目录下 2.解压cdh版本的hadoop,hive,sqoop $ tar -zxf hadoop-2.5.0-cdh5.3.6.tar.gz -C /opt/modules/cdh $ tar -zxf hive-0.13.1-cdh5.3原创 2017-03-13 07:32:47 · 503 阅读 · 0 评论 -
Sqoop使用和简介
Sqoop 工具是Hadoop环境下连接关系数据库,和hadoop存储系统的桥梁,支持多种关系数据源和hive,hdfs,hbase的相互导入。一般情况下,关系数据表存在于线上环境的备份环境,需要每天进行数据导入,根据每天的数据量而言,sqoop可以全表导入,对于每天产生的数据量不是很大的情形可以全表导入,但是sqoop也提供了增量数据导入的机制。 下面介绍几个常用的sqoop的命令,以及一转载 2017-03-13 07:42:53 · 251 阅读 · 0 评论