(关于搭建Hadoop环境,可参考:https://www.cnblogs.com/SysoCjs/p/10835793.html)
说明:
#master,表示在master节点上操作;
#master,#slave1,#slave2,表示在三个节点上都要操作;
一、安装Hive1.2.2
1、源码包下载
#master
可以直接到官网点击下载到本地,然后cp到CentoOS7上;或者使用命令下载:
wget http://mirror.bit.edu.cn/apache/hive/hive-1.2.2/apache-hive-1.2.2-bin.tar.gz
解压压缩包:
tar zxvf apache-hive-1.2.2-bin.tar.gz
2. 修改Hive配置文件
#Master
cd apache-hive-1.2.2-bin/conf
在/conf文件夹下面,默认是没有hive-site.xml文件,所以要创建一个,然后进入修改内容:
touch hive-site.xml
vim hive-site.xml
添加内容:
javax.jdo.option.ConnectionURL
jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true
javax.jdo.option.COnnectionDriverName
com.mysql.jdbc.Driver
javax.jdo.option.ConnectionUserName
root
javax.jdo.option.ConnectionPassword
123456
3、配置环境变量:
#Master、Slave1、Slave2
输入命令:
vim ~/.bashrc
追加语句:
export HIVE_HOME=/usr/local/src/apache-hive-1.2.2-bin
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin
文件添加了一个HIVE_HOME变量,以及在原先PATH上追加了“:$HIVE_HOME/bin”。
#刷新资源文件,输入命令:
source ~/bashrc
值得注意一点:hadoop原装有个jlines的jar包,版本是0.9.0x,但是hive需要用到2.x的版本,所以:
将当前hive版本的$HIVE_HOME/lib目录下的jline-2.12.jar包拷贝到$HADOOP_HOME/share/hadoop/yarn/lib目录下, 并将旧版本的Hive的Jline包从$HADOOP_HOME/etc/hadoop/yarn/lib目录下删除
二、安装Mysql5.7
1、下载mysql资源安装包
输入命令:
wget http://dev.mysql.com/get/mysql57-community-release-el7-8.noarch.rpm
2、安装mysql源
输入命令:
yum localinstall mysql57-community-release-el7-8.noarch.rpm
检查mysql源是否安装成功,输入命令:
yum repolist enabled | grep "mysql.*-community.*"
出现上图内容,表示安装成功。
3、安装Mysql-server
mysql源安装成功后,会有一个配置文件,里面可以设置默认下载的Mysql-server版本,这里是安装Mysql5.7.如果想要安装其他版本的Mysql-server,可以输入命令:
vim /etc/yum.repos.d/mysql-community.repo
比如要安装5.6版本,将5.7源的enabled=1改成enabled=0。然后再将5.6源的enabled=0改成enabled=1即可。
输入命令,安装Mysql-server:
yum install mysql-community-server
4、启动Mysql服务
输入命令:
systemctl start mysqld
查看mysql状态:
systemctl status mysqld
5、设置开机自启
输入命令:
systemctl enable mysqld
systemctl daemon-reload
6、修改root本地登录密码
输入命令:
mysql -uroot -p
对于mysql5.6,直接摁enter。
对于mysql5.7,则在mysql -uroot -p命令之前要查看系统给的默认密码多少,输入命令:
grep 'temporary password' /var/log/mysqld.log
mysql安装完成之后,在/var/log/mysqld.log文件中给root生成了一个默认密码。
获取默认密码后,使用默认密码登录,接着就是修改密码,这是mysql要求修改的。mysql5.7的默认密码策略检测要求包含:大小写字母、数字和特殊符号,并且长度不能少于8位。否则会提示ERROR 1819 (HY000): Your password does not satisfy the current policy requirements错误。所以,第一次修改密码时,先按这个要求设置,输入修改密码命令:
set password for 'root'@'localhost'=password('MyNewPass4!');
为了平时能够方便使用,可以修改密码检测策略,然后将密码修改为简单点,如111111,
修改密码策略,输入命令:
vim /est/my.cnf
添加语句:
validate_password_policy=0
validate_password_policy默认值是MEDIUM,这个参数有三个值,分别是:
0(LOW),1(MEDIUM),2(STRONG)
另外,如果不需要密码策略,可以在文件中添加:
validate_password = off
重新启动MySQL服务,输入命令:
systemctl restart mysqld
7、设置远程登录用户
进入mysql服务里面,进行一波操作:
show databases;
use mysql;
update user set host='%' where user='root' and host='localhost';
delete from user where user<>'root';
flush privileges;
8、配置默认编码utf8
vim /etc/my.cnf
添加语句:
character_set_server=utf8
init_connect='SET NAMES utf8'
三、安装Mysql连接器
一开始也有写到,本篇是介绍安装mysql5.7的,为什么不建议安装mysql5.6呢?因为mysql5.7与之对应的connector版本为5.1.4x,而mysql5.6对应的connector版本则是5.1.3x,去到官网:http://mirrors.ustc.edu.cn/mysql-ftp/Downloads/Connector-J/,已经没有5.1.3x版本的connector了。
1、下载安装包、解压
wget http://mirrors.ustc.edu.cn/mysql-ftp/Downloads/Connector-J/mysql-connector-java-5.1.47.tar.gz
tar zxvf mysql-connector-java-5.1.45.tar.gz
复制库文件:
cp mysql-connector-java-5.1.47/mysql-connector-java-5.1.47-bin.jar /usr/local/src/apache-hive-1.2.2-bin/lib
7、拷贝安装包
#master
scp -r /usr/local/src/apache-hive-1.2.2-bin root@slave1:/usr/local/src/apache-hive-1.2.2-bin
scp -r /usr/local/src/apache-hive-1.2.2-bin root@slave2:/usr/local/src/apache-hive-1.2.2-bin
8、启动Hive服务
#master
输入命令:
hive