(BigData) Mysql5.0 + Hive 入门级教程

Mysql5.0安装

1.卸载mariadb

[root@master software]# rpm -qa | grep mariadb
[root@master software]# yum remove mariadb-libs.x86_64 

2.解压Mysql 压缩包至指定位置

[root@master software]# cd /usr/local/src/
[root@master src]# mkdir mysql
[root@master software]# tar -xvf mysql-5.7.34-1.el7.x86_64.rpm-bundle.tar -C /usr/local/src/mysql/

3.按顺序安装(Mysql) rpm包

[root@master mysql]# rpm  -ivh  *.rpm --nodeps --force

4.查看Mysql 服务状态(不出意外的话这里是关闭)

[root@master mysql]# systemctl status mysqld.service

5.启动Mysql 服务

[root@master mysql]# systemctl start  mysqld.service

6.查看Mysql临时密码(前面操作不当 这里密码可能丢失)

[root@master mysql]# cat /var/log/mysqld.log | grep password

7.使用初始密码登录Mysql 并更改初始密码

[root@master mysql]# mysql -u root -p 

mysql> set global validate_password_policy=0;
mysql> ALTER USER 'root'@'localhost' IDENTIFIED BY 'Dashuju@06.';

8.允许Mysql远程访问

mysql> grant all privileges on *.* to 'root'@'%' identified by 'Dashuju@06.' with grant option;
mysql> flush privileges;

Hive 2.3.0 安装

Hive 1 版本安装过于简单这里不在列举

1.解压Hive安装包至指定目录

[root@master software]# tar -zxvf apache-hive-2.3.0-bin.tar.gz -C /usr/local/src/
[root@master src]# mv apache-hive-2.3.0-bin/ hive

2.配置环境变量并生效

[root@master src]# vim /root/.bash_profile 

##hive
export HIVE_HOME=/usr/local/src/hive
export PATH=$PATH:$HIVE_HOME/bin

[root@master src]# source /root/.bash_profile 

3.解决jar 包冲突 (这里必须要解决 要不然下面会报错)

[root@slave lib]# cd /usr/local/src/hadoop/share/hadoop/yarn/lib
[root@slave lib]# rm -rf jline-0.9.94.jar
//没有jline-0.9.94.jar的话 就直接做这两行命令
[root@slave lib]# cd /usr/local/src/hive/lib/
[root@slave lib]# mv log4j-1.2.16.jar log4j-1.2.16.jar.bak

4.将Mysql 驱动拷贝到Hive 下面的 lib 目录里

[root@master software]# cp mysql-connector-java-5.1.38.jar /usr/local/src/hive/lib/

5.在$HIVE_HOME/conf 目录下新建 hive-site.xml 文件

<configuration>
<!-- 元数据使用mysql数据库 -->
    <property>
            <name>javax.jdo.option.ConnectionURL</name>
            <value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false</value>
    </property>
    <property>
            <name>javax.jdo.option.ConnectionPassword</name>
            <value>Dashuju@06.</value>
    </property>
    <property>
            <name>javax.jdo.option.ConnectionDriverName</name>
            <value>com.mysql.jdbc.Driver</value>
    </property>
    <property>
            <name>javax.jdo.option.ConnectionUserName</name>
            <value>root</value>
    </property>
</configuration>

1.javax.jdo.option.ConnectionURL
    Jdbc 连接字符串
    默认 jdbc:derby:;databaseName=metastore_db;create=true；
2.javax.jdo.option.ConnectionDriverName：
    JDBC的driver，
    默认org.apache.derby.jdbc.EmbeddedDriver；
3.javax.jdo.option.ConnectionUserName：
    username，
    默认APP；
4.javax.jdo.option.ConnectionPassword：
    password，
    默认mine；

6. 初始化 Hive 元数据库 启动并测试 Hive 环境

[root@master conf]# schematool -initSchema -dbType mysql -verbose
[root@master hive]# bin/hive

资源问题 : 所需压缩包私聊