sqoop搭建

sqoop搭建

tar -xvf sqoop-1.4.6.bin__hadoop-0.23.tar.gz
mv sqoop-1.4.6.bin__hadoop-0.23 …/install/sqoop

cp mysql-connector-java-5.1.38.jar …/install/sqoop/lib/

修改配置文件
cp sqoop-env-template.sh sqoop-env.sh
vim sqoop-env.sh

export HADOOP_COMMON_HOME=/home/hadoop/install/hadoop-2.7.4
#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/home/hadoop/install/hadoop-2.7.4

======================
mysql 建一个表
create database test1;
use test1;
create table t1(id int,name varchar(11),primary key(id));
insert into t1 values(1,‘mxt’);
insert into t1 values(2,‘wn’);

导出mysql表结构到hive
sqoop create-hive-table --connect jdbc:mysql://192.168.2.10:3306/test1 --username root --password root --table t1 --hive-database test1 --hive-table t1

mysql用户密码
–username root
–password root
–table t1 mysql里面的表名
–hive-database test1 hive里面的数据库,需要创建


将mysql数据导出到hive中
sqoop import --connect jdbc:mysql://192.168.31.200:3306/test1 --username root --password root --table t1 --hive-database test1 --hive-table t1 --hive-import

将hive中的表导到mysql中(m指定是mr程序个数)
sqoop export --connect jdbc:mysql://192.168.31.200:3306/test1 --username root --password root --table t1 --export-dir /usr/hive/warehouse/test1.db/test --fields-terminated-by “\0001”

–export-dir /usr/hive/warehouse/test1.db/test 需要指定hive表的数据存储位置
–fields-terminated-by “\0001” 指定字段分割,
如果你是使用的sqoop的导入自动导入的数据,分隔符"\0001"
其他表的分隔符,如果不确定的话,show create table t1;

导出mysql表到hdfs
sqoop import --connect jdbc:mysql://192.168.31.200:3306/test1 --username root --password root --table test --target-dir /data/sqoop

–target-dir /data/sqoop 目录是hdfs目录

mysql—>hive
hive---->mysql

hive

sqoop list-databases --connect jdbc:mysql://192.168.31.200:3306/hive -username root -password root
导出mysql表结构到hive
sqoop create-hive-table --connect jdbc:mysql://192.168.31.200:3306/test1 --username root --password root --hivedatabase test1 --table test --hive-table test
将mysql数据导⼊到hive中
sqoop import --connect jdbc:mysql://192.168.31.200:3306/test1 --username root --password root --hive-database test1 --table test --hive-import
将hive中的表导⼊到mysql中(m指定是mr程序个数)
sqoop export --connect jdbc:mysql://192.168.31.200:3306/test1 --username root --password root --table test --exportdir /usr/hive/warehouse/test1.db/test --fields-terminated-by “\0001” --lines-terminated-by “\n” -m 2
–fields-terminated-by “\0001” 每列的换⾏符
–lines-terminated-by “\n” 每⾏的换⾏符
导出mysql表到hdfs
其中的-D mapred.job.queue.name=lesson是⽤来指定yarn的执⾏队列, –m 1⽤来指定map任务个数为1
sqoop import -D mapred.job.queue.name=lesson --connect jdbc:mysql://192.168.31.200:3306/test1 --username root -
-password root --table test --m 1 --target-dir /data/sqoop

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值