大数据-基于拉勾网职位数据的可视化实验-小白教程（三、配置项目需要的环境（2））

上回我们已经安装并配置好了jdk以及hadoop接下来我们配置hive，和sqoop

安装hive之前我们需要在虚拟中安装mysql，可以按照这个文章来操作

centos7在不联网环境下离线安装部署mysql5.7，配置文件my.cnf详解_mr__bai的博客-CSDN博客

安装完mysql以后，安装hive

安装hive

hive：链接：https://pan.baidu.com/s/1gwLbwSE9sKp5Yhr7hSH_FQ 
提取码：xzyp

通过xftp上传hive，然后解压

tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /export/servers

进入hive目录：

cd /export/servers/apache-hive-1.2.1-bin/conf

重命名：

cp hive-env.sh.template hive-env.sh

vi  hive-env.sh

添加环境变量

export HADOOP_HOME=/export/servers/hadoop-2.7.3

 配置hive-sive.xml

Vim hive-site.xml

<configuration>
	<property>
		<name>javax.jdo.option.ConnectionURL</name>
		<value>jdbc:mysql://localhost:3336/hive?
                  createDatabaseIfNotExist=true</value>
		<description>Mysql连接协议</description>
	</property>
<property>
		<name>javax.jdo.option.ConnectionDriverName</name>
		<value>com.mysql.jdbc.Driver</value>
		<description>JDBC连接驱动</description>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionUserName</name>
		<value>root</value>
		<description>用户名</description>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionPassword</name>
		<value>123456</value>
		<description>密码</description>
	</property>
</configuration>

 上传MySQL连接驱动包mysql-connector-java-5.1.32.jar到Hive安装目录下的lib文件夹下

驱动包：链接：https://pan.baidu.com/s/1TxV1FjmYeD25rFBHwjKZvA 
提取码：xzyp

 

Vim /etc/profile

添加hive的配置

export HIVE_HOME=/export/servers/apache-hive-1.2.1-bin
export PATH=$PATH:$HIVE_HOME/bin

 输入

Hive

启动hive，则成功

 安装sqoop

sqoop：链接：https://pan.baidu.com/s/1FoWWnn7oOcM3qrbHMrO40w 
提取码：xzyp

上传sqoop通过xftp

解压：

tar -zxvf /export/software/sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /export/servers/

修改名称：

mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha/ sqoop-1.4.6

进入：

cd /export/servers/sqoop-1.4.6/conf/

重命名：

cp sqoop-env-template.sh sqoop-env.sh

配置环境

vim sqoop-env.sh  

export HADOOP_COMMON_HOME=/export/servers/hadoop-2.7.3

export HADOOP_MAPRED_HOME=/export/servers/hadoop-2.7.3

export HIVE_HOME=/export/servers/apache-hive-1.2.1-bin

 配置环境变量

vi /etc/profile

export SQOOP_HOME=/export/servers/sqoop-1.4.6

export PATH=$PATH:$SQOOP_HOME/bin:

 配置完成后输入这条命令

sqoop list-databases \

  -connect jdbc:mysql://localhost:3336/ \

  --username root --password 123456

sqoop list-databases用于输出连接的本地MySQL数据库中的所有数据库，如果正确返回指定地址的MySQL数据库信息，那么说明Sqoop配置完毕。

 这样我们就把sqoop配置完成了。我们的虚拟机环境就全部结束了，下一回我们就要开始我们的项目。