mysql数据导入hive_Load将Mysql数据导入Hive样例方案

1.1业务场景

模拟使用Loader工具将客户移动电话系统产生的历史数据从原始数据库Mysql导入到Hive中，进行离线分析。

1.2操作步骤

1.2.1创建用户

1.进入FunsionInsight Manager界面，进去系统，创建本次测试用户，给予最大权限即可。

1.2.2Loader准备工作

1.获取关系型数据库对应的驱动jar包保存在Loader服务主备节点的lib路径：“${BIGDATA_HOME}/FusionInsight_Porter_6.5.0/install/FusionInsight-Sqoop-1.99.3/FusionInsight-Sqoop-1.99.3/server/webapps/loader/WEB-INF/ext-lib”。

2.使用root用户在主备节点分别执行以下命令修改权限：

chown omm:wheel jar包文件名

chmod 600 jar包文件名

3.登录FusionInsight Manager系统，选择“集群 > 服务 > Loader > 更多 > 重启”，输入管理员密码重启Loader服

务。

1.2.3Mysql准备工作

1.登录事先安装好的Mysql数据库，方式如下：

mysql –uroot –p Huawei@123

2.创建并使用数据库

create database inform;

use inform;

3.创建mysql数据表(模拟客户原始数据表)

CREATE TABLE data_temp_demo (

tel_num INT NOT NULL             #电话号码

,user_ip_addr VARCHAR(256)             #IP地址

,device_name VARCHAR(128)             #设备名

,rom_ver VARCHAR(128)                    #ROM版本

,hardware_ver VARCHAR(256)          #硬件版本

,app_name VARCHAR(256)                 #应用名称

,os_ver VARCHAR(256)                      #操作系统版本

,os_language VARCHAR(256)              #语言

,carrier VARCHAR(128)                      #运营商