sqoop 笔记

为什么80%的码农都做不了架构师？>>>   

把 mysql 表数据导入 hive 中

• 命令格式

  sqoop import {参数列表}
  

• 默认在 hive 中创建指定表，如果该表已存在，则把 mysql 表数据追加到该表中，常规参数如下

  --connect jdbc:mysql://_mysql_server_:3306/_mysql_dbname_
  --username _mysql_user_
  --password _mysql_password_
  --table _mysql_tablename_
  --hive-import
  --hive-database _hive_dbname_
  --hive-table _hive_tablename_
  --hive-drop-import-delims
  -m 1
  

• 如果该表已存在，则报错退出，参数如下

  --create-hive-table
  

• 如果该表已存在，则覆盖重新导入，参数如下

  --hive-overwrite
  

• 导入增量数据，参数如下

  --incremental append
  --check-column _mysql_tablecolumn_
  --last-value _last_value_
  

把 hive 表数据导入 mysql 中

• 命令格式

  sqoop export {参数列表}
  

• mysql 中需提前创建好待导入的表，常规参数如下

  --connect jdbc:mysql://_mysql_server_:3306/_mysql_dbname_
  --username _mysql_username_
  --password _mysql_password_
  --table _mysql_tablename_
  --hcatalog-database _hive_dbname_
  --hcatalog-table _hive_tablename_
  

• 只导出 hive 表中的部分的指定(部分)字段，参数如下

  --columns "_column_name1_,_column_name2_,_column_name3_"
  

转载于:https://my.oschina.net/colben/blog/1814569