大数据-基于拉勾网职位数据的可视化实验-小白教程（七、迁移数据）

下载一个sqlyog

这样连接好之后

1.通过SQLyog工具在MySQL中创建JobData数据库，并指定数据库编码为utf8，命令如下

CREATE DATABASE JobData CHARACTER SET utf8 COLLATE utf8_general_ci;

在JobData数据库下创建需要图形化展示的职位所在城市的分布表t_city_count，命令如下

CREATE TABLE t_city_count(

city VARCHAR(30) DEFAULT NULL,

COUNT INT(5) DEFAULT NULL

) ENGINE=INNODB DEFAULT CHARSET=utf8;

在JobData数据库下创建需要图形化展示的薪资分布表t_salary_dist，命令如下

CREATE TABLE t_salary_dist(

salary VARCHAR(30) DEFAULT NULL,

COUNT INT(5) DEFAULT NULL

) ENGINE=INNODB DEFAULT CHARSET=utf8;

在JobData数据库下创建需要图形化展示的福利标签统计表t_company_count，命令如下

CREATE TABLE t_company_count(

company VARCHAR(30) DEFAULT NULL,

COUNT INT(5) DEFAULT NULL

) ENGINE=INNODB DEFAULT CHARSET=utf8;

在JobData数据库下创建需要图形化展示的技能标签统计表t_kill_count，命令如下

CREATE TABLE t_kill_count(

kills VARCHAR(30) DEFAULT NULL,

COUNT INT(5) DEFAULT NULL

) ENGINE=INNODB DEFAULT CHARSET=utf8;

在Hadoop01服务器，进入Sqoop安装目录，命令如下

cd /export/servers/sqoop-1.4.6/

将大数据职位城市分布的统计结果数据迁移到MySQL的t_city_count表中，命令如下 

bin/sqoop export \

--connect jdbc:mysql://hadoop01:3336/JobData?characterEncoding=UTF-8 \

--username root \

--password 123456 \

--table t_city_count \

--columns "city,count" \

--fields-terminated-by ',' \

--export-dir /user/hive/warehouse/jobdata.db/t_ods_city

将大数据职位薪资分布结果数据迁移到MySQL的t_salary_dist表中，命令如下

bin/sqoop export \

--connect jdbc:mysql://hadoop01:3336/JobData?characterEncoding=UTF-8 \

--username root \

--password 123456 \

--table t_salary_dist \

--columns "salary,count" \

--fields-terminated-by ',' \

--export-dir /user/hive/warehouse/jobdata.db/t_ods_salary

将大数据职位福利标签的统计结果数据迁移到Mysql的t_company_count表中，命令如下

bin/sqoop export \

--connect jdbc:mysql://hadoop01:3336/JobData?characterEncoding=UTF-8 \

--username root \

--password 123456 \

--table t_company_count \

--columns "company,count" \

--fields-terminated-by ',' \

--export-dir /user/hive/warehouse/t_ods_company（/user/hive/warehouse/jobdata.db/下t_ods_company为空）

将大数据职位技能标签的统计结果数据迁移到Mysql的t_kill_count表中，命令如下

bin/sqoop export \

--connect jdbc:mysql://hadoop01:3336/JobData?characterEncoding=UTF-8 \

--username root \

--password 123456 \

--table t_kill_count \

--columns "kills,count" \

--fields-terminated-by ',' \

--export-dir /user/hive/warehouse/t_ods_kill

通过SQLyog工具验证数据是否成功导入MySQL中，命令如下

select * from t_city_count;

 

 

 

 这样我们本地的数据库中便有了这些数据

 然后我们对数据进行可视化操作，下回我们讲对数据进行可视化！