使用sqoop-1.4.6由mysql向hive导入数据:
sqoop import --connect "jdbc:mysql://ip:mysql_port/mysql_database_name?useUnicode=true&characterEncoding=UTF-8" --username mysql_user_name --password mysql_user_password --table mysql_table --columns "movie_id,repost_num,comment_num,praise_num,uid,task_time" --where "DATE(task_time)<>'0000-00-00'" --hive-import --hive-database hive_database_name --hive-overwrite --create-hive-table --hive-table hive_table --null-string '\\N' --null-non-string '\\N' --fields-terminated-by '\t' --lines-terminated-by '\n'
备注:
mysql_user_name拥有操作mysql权限的用户名称
mysql_user_password:是mysql_user_name用户操作mysql的密码
movie_id,repost_num,comment_num,praise_num,uid,task_time :为需要向hive中导入的mysql字段属性
"DATE(task_time)<>'0000-00-00' :为sqoop导入hive的判定条件