sqoop数据迁移

第一种将全量数据从MySQL中导入到hdfs中

bin/sqoop import \

--connect jdbc:mysql://master:3306/databaseName \

--username root \

--password 123456 \

--table tableName \

--fields-terminated-by '\t' \

--delete-target-dir \

--target-dir /your_path \

--m 1

 第二种将mysql全量数据导入到hive中

bin/sqoop import \

--connect jdbc:mysql://master:3306/databaseName \

--username root \

--password 123456 \

--table tableName \

--hive-table databaseName.tableName \

--hive-import \

--m 1

 第三种分为where条件导入以及query的条件导入

 sqoop import \
--connect jdbc:mysql://master:3306/sqoopTest \
--username root \
--password P@ssw0rd \
--query 'select id,name,age from student where 1=1 and $CONDITIONS order by age' \
--fields-terminated-by '\t' \
--delete-target-dir \
--target-dir /test \
--m 1

 第四种为增量抽取

sqoop import \
--connect jdbc:mysql://master:3306/sqoopTest \
--username root \
--password P@ssw0rd \
--table student \
--target-dir /test2 \
--incremental append \
--check-column id \
--last-value 4 \
--m 1