sqoop import export

sqoop list-databases \
    --connetct 'jdnc:mysql://127.0.0.1:3306' \
    --username 'hive' \
    --password 'hive'

sqoop export \
   --connect 'jdbc:mysql://127.0.0.1:3306/sqoop' \
   --password 'hive' \
   --username 'hive' \
   --table 'human1' \
   --columns 'age, name, id' \
   --export-dir '/user/candle/sqoop/1.txt' \
   -m 1 \
   --mapreduce-job-name 'hdfs to mysql' \
   --input-fields-terminated-by ',' \
   --input-lines-terminated-by '\n'
-- 1.没有指定--columns，解析出hdfs中每一行，按照表格顺序插入到mysql中
-- 2.如果指定--columns,解析出hdfs中每一行，按照colnmns指定的列插入
-- 3.多余的部分直接忽略，少了某个列会出错。sqoop是调用底层的mapreduce,一行一行的插入，只要有一行插入失败，后续行就无法插入。

sqoop export \
   --connect 'jdbc:mysql://127.0.0.1:3306/sqoop' \
   --password 'hive' \
   --username 'hive' \
   --table 'table' \
   --export-dir '//sqoop/hive_to_mysql/000000_0' \
   -m 1 \
   --mapreduce-job-name 'hdfs to mysql' \
   --input-fields-terminated-by ',' \
   --input-lines-terminated-by '\n'
sqoop export \
   --connect 'jdbc:mysql://127.0.0.1:3306/sqoop' \
   --password 'hive' \
   --username 'hive' \
   --table 'human' \
   -m 1 \
   --mapreduce-job-name 'hdfs to mysql' \
   --hcatalog-database 'hadoop' \
   --hcatalog-table 'human'
-- 此时需要hive开启Hcatalog服务
sqoop import \
   --connect 'jdbc:mysql://127.0.0.1:3306/sqoop' \
   --password 'hive' \
   --username 'hive' \
   --query 'select id, name , age from table WHERE $CONDITIONS' \ // 这里可以替换--table 'human' 按条件或者整表导入
   --delete-target-dir \
   --as-textfile \
   --target-dir  '/sqoop/mysql_to_hdfs' \
   --mapreduce-job-name 'mysql to hdfs' \
   --fields-terminated-by '#' \
   --lines-terminated-by '\n' \
   -m 3 \
   --split-by id \
   --compress \
   --compression-codec 'org.apache.hadoop.io.compress.GzipCodec'
sqoop import \
    --connect 'jdbc:mysql://127.0.0.1:3306/sqoop' \
    --password 'hive' \
    --username 'hive' \
    --query 'select id, name , age from table WHERE $CONDITIONS AND sex = "male" ' \
    --as-textfile \
    --append \
    --mapreduce-job-name 'mysql to hdfs' \
    --fields-terminated-by ',' \
    --lines-terminated-by '\n' \
    -m 1 \
    --hive-import \
    --hive-database 'sqoop' \
    --hive-table 'mysql_to_hive_partititon' \
    --hive-partition-key 'sex' \
    --hive-partition-value 'male'
sqoop import \
    --connect 'jdbc:mysql://127.0.0.1:3306/sqoop' \
    --password 'hive' \
    --username 'hive' \
    --table 'table' \
    --as-textfile \
    --append \
    --mapreduce-job-name 'mysql to hdfs' \
    --fields-terminated-by ',' \
    --lines-terminated-by '\n' \
    -m 1 \
    --column-family 'f1' \
    --hbase-table 'hadoop:mysql_to_hbase' \
    --hbase-row-key 'id'

转载于:https://www.cnblogs.com/mrerror/p/10857627.html