sqoop数据迁移脚本(导入,导出 mysql,oracle等)

1.oracle导入到hive脚本

/home/sqoop/sqoop-1.4.7.bin__hadoop-2.6.0/bin/sqoop  import

--username admin

--password '123XXX'

--connect jdbc:oracle:thin:@192.168.12X.1X:1521/数据库名

--fields-terminated-by '\001'

--null-non-string '\\N'

--null-string '\\N'

--delete-target-dir

--target-dir /hdfs/tmp/data/tablename

--hive-drop-import-delims

--query "select id,name,age from LL_test where 1=1 AND \$CONDITIONS"

--split-by id -m 1;

2.hive导出数据到mysql

/home/sqoop/sqoop-1.4.7.bin__hadoop-2.6.0/bin/sqoop  export

-Dorg.apache.sqoop.export.text.dump_date_on_error=true

--username admin

--password '123XXX'

--connect jdbc:mysql://192.168.12X.1X:3306/数据库名

--input-fields-terminated-by '\001'

--null-non-string '\\N'

--null-string '\\N'

--input-null-non-string '\\N'

--table LL_test

--export-dir /hdfs/tmp/data/tab
  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Sqoop是一个用于在Hadoop和关系型数据库之间进行数据传输的工具。它可以将数据从关系型数据导入到Hadoop集群中,也可以将数据从Hadoop集群导出到关系型数据库中。下面是一个Sqoop数据导入导出的shell脚本示例: 1. 数据导入脚本: ``` sqoop import \ --connect jdbc:mysql://localhost/mydatabase \ --username root \ --password password \ --table mytable \ --target-dir /user/hadoop/mydata \ --m 1 ``` 这个脚本将从MySQL数据库中的mytable表导入数据,并将数据存储在Hadoop集群中的/user/hadoop/mydata目录下。其中,--connect参数指定了数据库连接URL,--username和--password参数指定了数据库的用户名和密码,--table参数指定了要导入的表名,--target-dir参数指定了数据存储的目录,--m参数指定了并行度。 2. 数据导出脚本: ``` sqoop export \ --connect jdbc:mysql://localhost/mydatabase \ --username root \ --password password \ --table mytable \ --export-dir /user/hadoop/mydata \ --input-fields-terminated-by '\t' \ --input-lines-terminated-by '\n' ``` 这个脚本将从Hadoop集群中的/user/hadoop/mydata目录中读取数据,并将数据导出MySQL数据库的mytable表中。其中,--connect参数指定了数据库连接URL,--username和--password参数指定了数据库的用户名和密码,--table参数指定了要导出的表名,--export-dir参数指定了数据读取的目录,--input-fields-terminated-by和--input-lines-terminated-by参数指定了输入数据的分隔符。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值