大数据学习之路(准备篇)---------(四)「HA」Hadoop高可用下Hive和Mysql搭建教程

上一节说到,我们公司要用hdfs+hive+spark构成大数据分析的技术栈。本节就先把Hive和Mysql安装好,上次有朋友问我为什么不装个Ambari,这样不管搭建集群和后面的管理不就方便很多了,其实主要是想从头开始了解这些组件中的一些机制,不然用自动安装的,只知道用,不明白他是怎么来的,公司里有在用星环大数据平台(TDH)和Ambari,就我使用体验来说,感觉还是Ambari用着顺手一点,这里不再点评。?
Ambari 跟 Hadoop 等开源软件一样,也是 Apache Software Foundation 中的一个项目,并且是顶级项目。就 Ambari 的作用来说,就是创建、管理、监视 Hadoop 的集群,但是这里的 Hadoop 是广义,指的是 Hadoop 整个生态圈(例如 Hive,Hbase,Sqoop,Zookeeper 等),而并不仅是特指 Hadoop。用一句话来说,Ambari 就是为了让 Hadoop 以及相关的大数据软件更容易使用的一个工具。
下面咱们不如正题,在Hadoop高可用下Hive和Mysql。

Cent os7下Mysql安装

  1. 先检查当前机器下有无安装Mysql
rpm -qa | grep mariadb
  1. 如果已经安装了,将其卸载,如:在这里插入图片描述
rpm -e mariadb-libs-5.5.64-1.el7.x86_64 --nodeps
  1. 下载 mysql57-community-release-el7-8.noarch.rpm 的 YUM 源:
wget http://repo.mysql.com/mysql57-community-release-el7-8.noarch.rpm
  1. 安装 mysql57-community-release-el7-8.noarch.rpm:
rpm -ivh mysql57-community-release-el7-8.noarch.rpm

安装完后,cd /etc/yum.repos.d/

mysql-community.repo
mysql-community-source.repo
  1. 安装mysql service
yum install mysql-server
mysql -V
```![在这里插入图片描述](https://img-blog.csdnimg.cn/20191027164101487.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMyOTY5Mjgx,size_16,color_FFFFFF,t_70)

出现此显示证明你已经安装好了。下面我们启动mysql。

```powershell
service mysqld start

查看root默认密码,并登陆mysql,修改默认密码。创建hive的数据库

cat /var/log/mysqld.log | grep password
mysql -uroot -p
alter user 'root'@'localhost' identified by '1';
create database hive_new;

到此Mysql配置安装完成✅。

Hive安装

  1. 官网下载安装包,上传到服务器,解压。
    Hive官方下载地址:https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-2.3.6/
 tar -zxvf apache-hive-2.3.6-bin.tar.gz
  1. 配置环境变量
vim /etc/profile
export HIVE_HOME=/root/soft/hive
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin:$HIVE_HOME/bin

编辑完记得让他生效。

source /etc/profile
  1. 修改hive-env.sh下Hadoop地址。
# HADOOP_HOME=${bin}/../../hadoop
export HADOOP_HOME=/soft/hadoop
  1. 修改hive-site.xml文件
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
 <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://192.168.301.101:3306/hive_new?useSSL=false</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
</property>   
<property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
</property>   
<property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>1</value>
</property>                  
</configuration>
  1. 初始化mysql
schematool -dbType mysql -initSchema

在这里插入图片描述
出现completed就说明你安装好了。
如果出现以下错误,说明你没有mysql的驱动,去官网下就好了。https://downloads.mysql.com/archives/c-j/

org.apache.hadoop.hive.metastore.HiveMetaException: Failed to load driver
Underlying cause: java.lang.ClassNotFoundException : com.mysql.jdbc.Driver
  1. 复制jar到hive到lib
 scp -r /Users/hh/desktop/mysql-connector-java-5.1.46-bin.jar hh555:/root/soft/hive/lib/

再次初始化

schematool -dbType mysql -initSchema

hive安装完毕!进去看看吧!
在这里插入图片描述
好了,Hive也搞定了,快去试试进行操作吧!下一步,临时工作安排,Hive和Redis压测。Go Go Go!
喜欢的话给个关注呗!里面有Java、Python、大数据视频教程,Mac破解软件。?
在这里插入图片描述

  • 0
    点赞
  • 2
    收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
©️2022 CSDN 皮肤主题:大白 设计师:CSDN官方博客 返回首页
评论

打赏作者

System_FFF

希望我的博客能帮助到您。

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值