Sqoop import export 全量 分天

全量导入到hive

sqoop import \
--connect jdbc:mysql://:3306/database?tinyInt1isBit=false  \
--username {username} \
--password {password}  \
--query 'select * from tableWHERE $CONDITIONS'  \
--target-dir hive数据目录  \
--delete-target-dir \
--fields-terminated-by  '\001'  \
--hive-drop-import-delims  \
--hive-import \
--hive-database {database } \
--hive-table {table} \
--num-mappers 8 \
--split-by id  \
--null-string '' \
--null-non-string '0' 

分天导入到hive

sqoop import \
  --connect jdbc:mysql://:3306/database?tinyInt1isBit=false \
  --username {username} \
  --password {password} \
  --query 'select * from table WHERE update_date >= "'$yesterday'"' \
  --target-dir hive数据目录/dt=$yesterday \
  --delete-target-dir \
  --fields-terminated-by '\001' \
  --hive-drop-import-delims \
  --hive-import \
  --hive-database {database} \
  --hive-table {table} \
  --num-mappers 8 \
  --split-by id \
  --null-string '' \
  --null-non-string '0'

分天从hive导出到mysql

sqoop export \
--connect jdbc:mysql://XXX:3306/xxx?useSSL=false \
--username xxx \
--password xxx \
--table mysql_table \
--columns "searchcontent,search_count,search_user,search_noresult,song_play_count,song_play_user,pdate" \
--hcatalog-database hive_database \
--hcatalog-table hive_table \
--hcatalog-partition-keys pdate \    # 分区字段
--hcatalog-partition-values 指定日期的分区

全量从hive导出到mysql

sqoop export \
  --connect jdbc:mysql://XXX:3306/xxx?useSSL=false \
  --username xxx \
  --password xxx \
  --table mysql_table \
  --columns "searchcontent,search_count,search_user,search_noresult,song_play_count,song_play_user,pdate" \
  --hcatalog-database hive_database \
  --hcatalog-table hive_table