Sqoop hive 和mysql 交互 完整案例

本文完成：在hive里建管理表；注入部分数据；利用sqoop导入mysql中

期间：解决中文乱码问题

 

飞行报告故障表

• 建表命令

• 查看表

• 人工灌入少量数据

• Windows 系统向Linux 系统数据传输

解决中文乱码问题

1）显示终端xshell 属性里修改为utf-8 编码格式

2）源文本文件编辑为utf-8格式

3）修改fileformat （可选）

• 加载数据

• 显示内容

 

• 根据分区做查询

将结果写入本地目录

关联mysql

• 在mysql 中建立相同的表结构

• 利用sqoop 导入（注意当前用户环境变量）
• 设置mysql 编码格式

• 导入数据

sqoop export --connect jdbc:mysql://localhost:3306/trans_db --username root --password root --table ex_trans --export-dir /user/hive/warehouse/ga_mis.db/ex_tst_like/tst_failureRp.txt --input-fields-terminated-by '\t'

• 查看mysql中表的导入内容

 

转载于:https://www.cnblogs.com/amyliushu/p/6878835.html