大数据之HIVE的安装

大数据之HIVE的安装

安装分两个阶段:

1、安装mysql服务

2、安装数据仓库工具HIVE

一、安装mysql服务

1、在node03节点上安装mysql服务

在root用户 下安装,root用户权限大方便我们的mysql的安装
在CentOS7中默认安装有MariaDB,这个是MySQL的分支,但为了需要,还是要在系统中安装MySQL,而且安装完成之后可以直接覆盖掉MariaDB。

2.下载并安装官方的mysql的yum源

使用root用户在node03服的/kkb/soft路径下执行以下命令

cd /kkb/soft/
yum -y install wget
wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm
yum -y install mysql57-community-release-el7-10.noarch.rpm
yum -y install mysql-community-server
# 这步可能会花些时间,安装完成后就会覆盖掉之前的mariadb

3.首先启动MySQL数据库

执行以下命令启动mysql服务
systemctl start mysqld.service   #在哪个文件夹安装就在哪个文件夹启动
查看mysql启动状态
systemctl status mysqld.service  

4、设置MySQL的参数

1、获取临时密码 :此时MySQL已经开始正常运行,因为我们是第一次运行,所以要想进入MySQL,还得先找出此时root用户的密码,通过如下命令可以在日志文件中找出密码,可以查看到我的临时密码为:!ta2M9e7_B.&。

grep "password" /var/log/mysqld.log  #找出密码初次密码

2、修改限制密码的文件:知道临时密码后我们使用初始密码!ta2M9e7_B.&,登录mysql客户端,修改限制密码的文件

 mysql -uroot -p  #登录mysql,然后输入!ta2M9e7_B.&
 set global validate_password_policy=LOW;#降低密码安全级别
 set global validate_password_length=6;  #设置密码长度
 ALTER USER 'root'@'localhost' IDENTIFIED BY '123456';#修改我们想要设置的密码
 #开启mysql的远程连接权限
grant all privileges  on  *.* to 'root'@'%' identified by '123456' with grant option;
flush privileges;
此时我们的linux系统上安装好mysql了

5、MySQL的卸载

上面我们在centos7当中已经安装好了5.7版本的mysql服务,如果以后我们不需要mysql了,或者mysql安装失败了需要重新安装,那么我们就可以来将mysql给卸载掉了

第一步:停止mysql服务并卸载rpm的包

systemctl stop mysqld.service
rpm -qa | grep -i mysql 
yum list install mysql*
yum remove mysql mysql-server mysql-libs compat-mysql51
yum remove mysql-community-release
rpm -e --nodeps mysql57-community-release-el7-10.noarch mysql-community-common-5.7.27-1.el7.x86_64 

第二步:删除mysql残留文件夹

whereis mysql 
rm -rf /usr/share/mysql/
find / -name mysql
rm -rf /var/lib/mysql/
rm -rf /root/.mysql_history

二、Hive的安装部署

注意:hive就是一个构建数据仓库的工具,只需要在一台服务器上安装就可以了,不需要在多台服务器上安装。

1、启动mysql服务和hadoop集群

2、下载hive的安装包

http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.14.2.tar.gz

3、上传安装包到node03服务器中的/kkb/soft路径下

4、解压安装包到指定的安装目录

cd /kkb/soft/  #进入压缩包所在目录
tar -zxvf hive-1.1.0-cdh5.14.2.tar.gz -C /kkb/install/#将压缩包解压到要安装的路径/kkb/install/

5、修改配置文件

1.配置hive-env.sh

cd /kkb/install/hive-1.1.0-cdh5.14.2/conf/
mv  hive-env.sh.template hive-env.sh
vim hive-env.sh

#配置HADOOP_HOME路径
export HADOOP_HOME=/kkb/install/hadoop-2.6.0-cdh5.14.2/
#配置HIVE_CONF_DIR路径
export HIVE_CONF_DIR=/kkb/install/hive-1.1.0-cdh5.14.2/conf

2.配置hive-site.xml

vim hive-site.xml

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
        <property>
                <name>javax.jdo.option.ConnectionURL</name>
                <value>jdbc:mysql://node03:3306/hive?createDatabaseIfNotExist=true&amp;characterEncoding=latin1&amp;useSSL=false</value>
        </property>

        <property>
                <name>javax.jdo.option.ConnectionDriverName</name>
                <value>com.mysql.jdbc.Driver</value>
        </property>
        <property>
                <name>javax.jdo.option.ConnectionUserName</name>
                <value>root</value>
        </property>
        <property>
                <name>javax.jdo.option.ConnectionPassword</name>
                <value>123456</value>
        </property>
        <property>
                <name>hive.cli.print.current.db</name>
                <value>true</value>
        </property>
        <property>
                <name>hive.cli.print.header</name>
            <value>true</value>
        </property>
    <property>
                <name>hive.server2.thrift.bind.host</name>
                <value>node03</value>
        </property>
</configuration>

6、修改HIVE的日志配置文件路径,便于我们排查hive出现的错误问题

​ node03执行以下命令,定义hive的日志文件存放路径

mkdir -p /kkb/install/hive-1.1.0-cdh5.14.2/logs/
cd /kkb/install/hive-1.1.0-cdh5.14.2/conf/
mv hive-log4j.properties.template hive-log4j.properties
vim hive-log4j.properties

#更改以下内容,设置我们的日志文件存放的路径
hive.log.dir=/kkb/install/hive-1.1.0-cdh5.14.2/logs/

7、需要将MYSQL的驱动包上传到HIVE的lib目录下(注意是lib下)

​这个jar文件:mysql-connector-java-5.1.38.jar

#更改以下内容,设置我们的日志文件存放的路径
hive.log.dir=/kkb/install/hive-1.1.0-cdh5.14.2/logs/

©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页