Hive的使用以及如何利用echarts实现可视化在前端页面展示(三)---hive数据利用sqoop导出到mysql数据库里

1、安装sqoop

我的版本

jdk1.8

hadoop3.1.3

sqoop1.4.6

基本上就安装这个版本都没问题，如果是执行连接数据库命令时报错：java.lang.NoClassDefFoundError;报错，在lib下再放一个commons-lang-2.6.jar即可，

sqoop安装:Index of /dist/sqoop (apache.org)

commons-lang-2.6.jar下载:commons-lang-2.6.jar下载及Maven、Gradle引入代码，pom文件及包内class -时代Java (nowjava.com)

2、配置文件修改(改成你自己的)

cd $SQOOP_HOME/conf

mv sqoop-env-template.sh sqoop-env.sh

vi sqoop-env.sh

export HADOOP_COMMON_HOME= /export/servers/hadoop-3.1.3

export HADOOP_MAPRED_HOME= /export/servers/hadoop-3.1.3

export HIVE_HOME= /export/servers/hive

加入mysql的jdbc驱动包

 

cp /hive/lib/mysql-connector-java-5.1.32.jar $SQOOP_HOME

 

3、验证启动

bin/sqoop list-databases \
 --connect jdbc:mysql://localhost:3306/ \
 --username root --password hadoop

4、这里只使用导出到mysql

(建议有时间看看导入，当然我不是)

bin/sqoop export \
--connect jdbc:mysql://你的hadoop地址:3306/数据库名 \
--username 名称 \
--password 密码 \
--table 表名 \
--num-mappers 1 \
--export-表的url
--input-fields-terminated-by ","

关于查看url，可以使用

show create table

5、进入mysql查看是否导入

注意是虚拟机的mysql

6、可视化工具navicat建立连接

 

 连接成功就完成了，可以可视化看到数据

 

Hive的使用以及如何利用echarts实现可视化在前端页面展示(三)---hive数据利用sqoop导出到mysql数据库里