大数据学习之路(准备篇)---------（四）「HA」Hadoop高可用下Hive和Mysql搭建教程

上一节说到，我们公司要用hdfs+hive+spark构成大数据分析的技术栈。本节就先把Hive和Mysql安装好，上次有朋友问我为什么不装个Ambari，这样不管搭建集群和后面的管理不就方便很多了，其实主要是想从头开始了解这些组件中的一些机制，不然用自动安装的，只知道用，不明白他是怎么来的，公司里有在用星环大数据平台(TDH)和Ambari，就我使用体验来说，感觉还是Ambari用着顺手一点，这里不再点评。?
Ambari 跟 Hadoop 等开源软件一样，也是 Apache Software Foundation 中的一个项目，并且是顶级项目。就 Ambari 的作用来说，就是创建、管理、监视 Hadoop 的集群，但是这里的 Hadoop 是广义，指的是 Hadoop 整个生态圈（例如 Hive，Hbase，Sqoop，Zookeeper 等），而并不仅是特指 Hadoop。用一句话来说，Ambari 就是为了让 Hadoop 以及相关的大数据软件更容易使用的一个工具。
下面咱们不如正题，在Hadoop高可用下Hive和Mysql。

Cent os7下Mysql安装

1. 先检查当前机器下有无安装Mysql

rpm -qa | grep mariadb

2. 如果已经安装了，将其卸载，如：

rpm -e mariadb-libs-5.5.64-1.el7.x86_64 --nodeps

3. 下载 mysql57-community-release-el7-8.noarch.rpm 的 YUM 源：

wget http://repo.mysql.com/mysql57-community-release-el7-8.noarch.rpm

4. 安装 mysql57-community-release-el7-8.noarch.rpm：

rpm -ivh mysql57-community-release-el7-8.noarch.rpm

安装完后，cd /etc/yum.repos.d/

mysql-community.repo
mysql-community-source.repo

5. 安装mysql service

yum install mysql-server
mysql -V
```![在这里插入图片描述](https://img-blog.csdnimg.cn/20191027164101487.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMyOTY5Mjgx,size_16,color_FFFFFF,t_70)

出现此显示证明你已经安装好了。下面我们启动mysql。

```powershell
service mysqld start

查看root默认密码，并登陆mysql，修改默认密码。创建hive的数据库

cat /var/log/mysqld.log | grep password
mysql -uroot -p
alter user 'root'@'localhost' identified by '1';
create database hive_new;

到此Mysql配置安装完成✅。

Hive安装

1. 官网下载安装包，上传到服务器，解压。
   Hive官方下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-2.3.6/

 tar -zxvf apache-hive-2.3.6-bin.tar.gz

2. 配置环境变量

vim /etc/profile
export HIVE_HOME=/root/soft/hive
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin:$HIVE_HOME/bin

编辑完记得让他生效。

source /etc/profile

3. 修改hive-env.sh下Hadoop地址。

# HADOOP_HOME=${bin}/../../hadoop
export HADOOP_HOME=/soft/hadoop

4. 修改hive-site.xml文件

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
 <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://192.168.301.101:3306/hive_new?useSSL=false</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
</property>   
<property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
</property>   
<property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>1</value>
</property>                  
</configuration>

5. 初始化mysql

schematool -dbType mysql -initSchema

出现completed就说明你安装好了。
如果出现以下错误，说明你没有mysql的驱动，去官网下就好了。https://downloads.mysql.com/archives/c-j/

org.apache.hadoop.hive.metastore.HiveMetaException: Failed to load driver
Underlying cause: java.lang.ClassNotFoundException : com.mysql.jdbc.Driver

6. 复制jar到hive到lib

 scp -r /Users/hh/desktop/mysql-connector-java-5.1.46-bin.jar hh555:/root/soft/hive/lib/

再次初始化

schematool -dbType mysql -initSchema

hive安装完毕！进去看看吧！

好了，Hive也搞定了，快去试试进行操作吧！下一步，临时工作安排，Hive和Redis压测。Go Go Go!
喜欢的话给个关注呗！里面有Java、Python、大数据视频教程，Mac破解软件。?