hive 安装mysql的源码_Hive源码系列（一）hive2.1.1+hadoop2.7.3环境搭建

这是一篇工具类的文章，工欲善其事必先利其器，要分析调试hive源码，必须搭建一套hive的运行环境。还记得第一次搭建hive源码调试环境，用了一个月的时间，才完全跑通整个调试过程。中间遇到各种各样莫名奇妙的问题，也有好多次想放弃，幸好坚持了下来。

linux版本：centos 6.5

Java版本：jdk1.8

Hive版本：hive-2.1.1

Hadoop版本：hadoop-2.7.3

1、Jdk环境安装

上传jdk安装包

解压安装包

tar -zxvf jdk-8u131-linux-x64.tar.gz

建立软链节

ln -s jdk1.8.0_131/ java

配置环境变量

vim /etc/profile

source /etc/profile 使生效验证

java–version

2、HADOOP安装部署

我下载的是 hadoop-2.7.3.tar.gz，官网在2.5之后默认提供的就是64位的，这里直接下载下来用即可

上传HADOOP安装包

解压安装包

tar -zxvf hadoop-2.7.3.tar.gz

建立软链节

ln -s hadoop-2.7.3 hadoop

配置环境变量

vim /etc/profile

source /etc/profile 使生效修改配置文件(搭建调试环境，伪分布就够用啦)

cd $HADOOP_HOME/etc/hadoop/

vim core-site.xml

vim hdfs-site.xml

vim hadoop-env.sh

cp mapred-site.xml.template mapred-site.xml

vim mapred-site.xml

vim yarn-site.xml

ssh免密码登录

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

cat ~/.ssh/id_rsa.pub>> ~/.ssh/authorized_keys

chmod 0600~/.ssh/authorized_keys

格式化namenode

hdfs namenode -format

启动

start-dfs.sh start-yarn.sh

验证

数据测试(wordcount)

hdfs dfs -mkdir /wordcount

hdfs dfs -put ~/testdata/wordcount /wordcount

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /wordcount/wordcount /wordcount/output

hadoop fs -cat /wordcount/output/part-r-00000

停止

stop-dfs.sh

stop-yarn.sh

3、HIVE安装部署

apache-hive-2.1.1-bin.tar.gz 安装包

apache-hive-2.1.1-src.tar.gz 源码包 (后面编译源码、调试源码会用到)

上传HIVE安装包

解压安装包

tar -zxvf apache-hive-2.1.1-bin.tar.gz

建立软链节

ln -s apache-hive-2.1.1-bin hive

配置环境变量

vim /etc/profile

source /etc/profile 使生效mysql安装(用mysql做为hive的元数据库)

MySQL-client-5.6.42-1.el6.x86_64.rpm

MySQL-server-5.6.42-1.el6.x86_64.rpm

rpm -ivh MySQL-server-5.6.42-1.el6.x86_64.rpm 安装mysql服务端

rpm -ivh MySQL-client-5.6.42-1.el6.x86_64.rpm 安装mysql客户端

service mysql start启动mysql 服务端

cat /root/.mysql_secret 查看mysql初始化密码

用初始化密码登录并修改密码

mysql -u root -p_tcke0WJxDyw02TS

set password=PASSWORD('123456');

测试：

mysql -u root -p123456

hive配制

cd /opt/soft/hive/conf

vim hive-site.xml

下载mysql jdbc驱动包

mysql-connector-java-5.1.47.jar

把mysql的jdbc驱动放置到hive的lib目录下初始化hive元数据库

schematool -dbType mysql -initSchema安装完成 测试：

(完)

下一篇准备写Hive源码编译