这篇博客就继续接着说如何在虚拟机中安装及配置hive和hbase
Ⅰ,相关组件(附带下载链接)
hadoop生态圈还有很多的组件。例如Spark,Hbase,hive等等,因为篇幅问题,这些软件在此处不介绍,给出下载链接,其余的安装教程将会在其余的博客给出,(本文需要使用链接中的mysql驱动,hbase和hive,zookeepear将其安装包上传到root目录)
集群组件下载链接
密码:zccy
Ⅱ,安装hive
一,解压hive源文件并改名
tar -xvf /root/apache-hive-2.3.6-bin.tar.gz
mv apache-hive-2.3.6-bin ./hive
二,下载mysql源(需要联网)
下载mysql源
wget http://dev.mysql.com/get/mysql57-community-release-el7-8.noarch.rpm
安装mysql源(有时需要执行两次,注意信息)
yum localinstall mysql57-community-release-el7-8.noarch.rpm
检查mysql源是否安装成功
yum repolist enabled | grep "mysql.*-community.*"
安装mysql
yum remove mariadb-server
yum install mysql-community-server
启动MySQL服务
systemctl start mysqld
查看mysql的启动状态
systemctl status mysqld
三,设置mysql初始密码
1,设置无验证登录
mysql57之后有默认密码,比起去找,直接设置停止权限验证会更加简单一些
vi /etc/my.cnf
在mysqld段添加
port=3306
character-set-server = utf8
explicit_defaults_for_timestamp=1
skip-grant-tables=1
保存并退出
重启mysql
service mysqld restart
2,修改mysql密码
登录(输密码时直接回车)
mysql -uroot -p
更换数据库
use mysql
修改密码并立即生效
UPDATE user SET authentication_string=PASSWORD("0607184") WHERE user='root';
flush privileges;
quit
3,改回my.cnf文件
vi /etc/my.cnf
去掉skip-grant-tables=1
保存并退出
重启mysql
service mysqld restart
打开
mysql -uroot -p0607184
修改变量(更改密码权限表要求)
set global validate_password_length=6;
set global validate_password_policy=0;
修改密码
SET PASSWORD = PASSWORD('0607184');
新建hive数据库
create database hive;
修改权限
update user set host='%' where user='root';
四,配置hive环境
复制java connector到依赖库
将准备好的驱动mysql-connector-java-5.1.27.tar.gz(上面网盘里有)移动到hive的lib目录
tar -xvf /root/mysql-connector-java-5.1.27.tar.gz
mv /root/mysql-connector-java-5.1.27/mysql-connector-java-5.1.27-bin.jar ./hive/lib
1,修改配置文件
vi .bash_profile
增加下面两条
export HIVE_HOME=/root/hive
export PATH=$PATH:$HIVE_HOME/bin
加载配置文件
source .bash_profile
2,修改hive-env.sh
进入hive目录修改文件
cd /root/hive/conf
cp hive-env.sh.template hive-env.sh
cp hive-default.xml.template hive-site.xml
vi hive-env.sh
增加以下三行
export JAVA_HOME=/root/jdk/jdk1.8.0_144/
export HADOOP_HOME=/root/hadoop-2.7.7
export HIVE_HOME=/root/hive
3,修改hive-site.xml
(建议别用命令行,行数太多了)
找到javax.jdo.option.ConnectionUserName修改几条
修改用户名
修改密码
修改驱动
修改链接地址
修改目录
五,验证
初始化元数据
schematool -dbType mysql -initSchema
启动hadoop集群
start-all.sh
验证
hive
Ⅲ,安装zookeepear
一,解压安装包
cd
tar -xvf zookeeper-3.4.6.tar.gz
mv zookeeper-3.4.6 zoo
mkdir ~/zoo/zoodata
mkdir ~/zoo/zoologs
二,配置环境变量
1,修改环境变量(所有机器)
vi .bash_profile
增加下面两条
export ZOOKEEPER_HOME=/root/zoo
export PATH=$PATH:$ZOOKEEPER_HOME/bin
加载配置文件
source .bash_profile
2,编辑核心配置文件
cd ~/zoo/conf/
cp zoo_sample.cfg zoo.cfg
vi zoo.cfg
tickTime=2000
dataDir=/root/zoo/zoodata
dataLogDir=/root/zoo/logs
clientPort=2181
initLimit=5
syncLimit=2
quorumListenOnAllIPs=true
server.1=master:2888:3888
server.2=slave:2888:3888
server.3=slave2:2888:3888
3,设置myid
在三台机器dataDir目录(~/zoo/zoodata 目录)下,分别生成一个myid文件,其内容分别为1,2,3
scp -r /root/zoo root@slave:~/
scp -r /root/zoo root@slave2:~/
分别在三个机器
vi ~/zoo/zoodata/myid
输入id,master为1,slave为2,slave2为3
echo 1 > ~/zoo/zoodata/myid
三,验证
bin/zkCli.sh -server 192.168.229.160:2181,192.168.229.161:2181,192.168.229.162:2181
如果出错,可以参考
启动zookeepear服务报错:无法找到路由的解决办法
Ⅳ,安装hbase(伪分布式)
一,解压hbase
cd
tar -zxvf ~/hbase-2.1.7-bin.tar.gz
mv hbase-2.1.7 hbase
二,配置hbase
进入配置文件夹
cd /root/hbase/conf
编辑hbase-env.sh
vi hbase-env.sh
修改JAVA_HOME为自己的jdk路径
export JAVA_HOME=/root/jdk/jdk1.8.0_144/
export HBASE_MANAGES_ZK=true
编辑hbase-site.xml
···
vi hbase-site.xml
···
修改如下
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.rootdir</name>
<value>hdfs://master:9000/hbase</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>master,slave,slave2</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>hbase.master.info.port</name>
<value>60010</value>
</property>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/hbase/zoodata</value>
</property>
</configuration>
修改 regionservers
vi regionservers
修改localhost为
slave
slave2
拷贝hdfs-site.xml和core-site.xml文件
拷贝Hadoop的core-site.xml,hdfs-site.xml文件至/root/hbase/conf 目录
设置环境变量(所有节点)
vi ~/.bash_profile
添加以下信息
export HBASE_HOME=/root/hbase
export PATH=$HBASE_HOME/bin:$PATH
更新
source ~/.bash_profile
修改hbase源文件
修改hbase目录下bin文件夹的hbase文件
按下列连接修改即可(红色删除,黄色修改,绿色添加)
修改步骤
(此方法来源:来源连接)
复制到从节点
scp -r ~/hbase slave:~/
scp -r ~/hbase slave2:~/
启动服务
start-all.sh
start-hbase.sh
三,测试
jps
需要存在hquorumpeer和Hmaster
master如上
slave如上
WEB端
浏览器打开master:60010
hive shell 查看
四,使用外置zookeepear
如果想使用外置zookeepear,修改habse-env.sh的HBASE_MANAGES_ZK为false,再拷贝zookeeper conf/zoo.cfg到hbase的conf/下即可