Hive安装到配置-2021年11月23日

最新推荐文章于 2024-11-09 12:43:52 发布
最新推荐文章于 2024-11-09 12:43:52 发布
阅读量1.7k 收藏 1
点赞数 3
分类专栏： hive linux 工具安装 文章标签： java hadoop linux hive 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/MikeaLi/article/details/121501261
版权
linux 同时被 3 个专栏收录
7 篇文章 0 订阅
订阅专栏
工具安装
3 篇文章 0 订阅
订阅专栏
hive
1 篇文章 0 订阅
订阅专栏

Hadoop Hive 篇

Hive安装到配置

前言

hadoop version ：hadoop 2.7.3

mysql version ：MySQL 5.7.32

hive verson ：Hive 2.2.0

mysql–connector-*.jar version ：mysql-connecter - * .jar 5.1.43

（一）Hive集群规划

角色Mastertest2test3
MySql●××
Metstore×●×
CLI××●

（二）安装MySql

  1. 官网下载需要的包
wget \
https://cdn.mysql.com/archives/mysql-5.7/mysql-community-client-5.7.32-1.el7.x86_64.rpm \
https://cdn.mysql.com/archives/mysql-5.7/mysql-community-common-5.7.32-1.el7.x86_64.rpm \
https://cdn.mysql.com/archives/mysql-5.7/mysql-community-libs-5.7.32-1.el7.x86_64.rpm \
https://cdn.mysql.com/archives/mysql-5.7/mysql-community-libs-compat-5.7.32-1.el7.x86_64.rpm \
https://cdn.mysql.com/archives/mysql-5.7/mysql-community-server-5.7.32-1.el7.x86_64.rpm
  1. 把他们下载到 CentOS 的 /usr/local/src 目录下
  2. 安装包，注意依赖，需要联网
yum install -y mysql-community-*-5.7.32-1.el7.x86_64.rpm
  1. 开启服务器并初始化密码，使用的命令和命令详解：
# 开启MySQL服务器
systemctl start mysqld
# 查看默认生成的密码
cat /var/log/mysqld.log | grep password

http://www.mikea.ltd/img/image-20211123074412791

  1. 登录MySql:
#使用你查到的临时密码进行登录
mysql -u root -p
  1. 设置密码等级和修改密码
#设置密码登记
set global validate_password_length=4;
set global validate_password_policy=0;
#修改默认密码
ALTER USER 'root'@'localhost' IDENTIFIED WITH mysql_native_password BY '密码'; #此处注意修改您的密码
  1. 命令查看show variables like 'character%';
    • 需要将表中的数据改为如下：

http://www.mikea.ltd/img/image-20211123074223224

  • 默认表的字符集是拉丁文，后续录入中文会有乱码，所以需要将如下两个改为UTF-8

    character_set_databse

    character_set_server

  • 修改配置文件

    vim /etc/my.cnf

  • 修改后的内容

    # For advice on how to change settings please see
# http://dev.mysql.com/doc/refman/5.7/en/server-configuration-defaults.html
[client]
default-character-set=utf8

[mysql]
default-character-set=utf8

[mysqld]
character-set-server=utf8
#
# Remove leading # and set to the amount of RAM for the most important data
# cache in MySQL. Start at 70% of total RAM for dedicated server, else 10%.
# innodb_buffer_pool_size = 128M
#
# Remove leading # to turn on a very important data integrity option: logging
# changes to the binary log between backups.
# log_bin
#
# Remove leading # to set options mainly useful for reporting servers.
# The server defaults are faster for transactions and fast SELECTs.
# Adjust sizes as needed, experiment to find the optimal values.
# join_buffer_size = 128M
# sort_buffer_size = 2M
# read_rnd_buffer_size = 2M
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock

# Disabling symbolic-links is recommended to prevent assorted security risks
symbolic-links=0

log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid

  • 重点部分

    [client]
default-character-set=utf8
[mysql]
default-character-set=utf8
[mysqld]
character-set-server=utf8

    修改后重启MySql服务

（三）Hive安装

  1. 下载Hive安装包

    Hive下载地址

    Hive 2.2.0下载地址

  1. 下载后上传到Centos7对应文件夹再进行解压
    # 使用root用户的话，默认目录是在root
# 上传的位置是 /root/
# 解压缩文件
tar -zxf apache-hive-2.2.0-bin.tar.gz 
# 重命名文件夹并将文件夹移动到/usr/local目录下
mv apache-hive-2.2.0-bin.tar.gz /usr/local/Hive
  2. 配置Hive

    1. 环境变量配置

      vi + /etc/profile

      在环境变量中添加如下：

      # Hive环境变量
export HIVE_HOME=/usr/local/hive    #这里就是你存放Hive的路径
export PATH=$PATH:${HIVE_HOME}/bin

      保存更新后需要更新环境变量

      source /etc/profile

    2. 第一个配置文件 Hive-site.xml

      # 将Hive文件夹里面的Hive-default.xml.template改名为Hive-site.xml
mv ./Hive-default.xml.template ./Hive-site.xml
# 修改Hive-site.xml配置文件
vi + /Hive-site.xml
      • Hive-site.xml文件的修改内容
      <?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!--mysql 数据库连接的IP地址需要更改为你mysql那台机器的地址-->
        <property>
                 <name>javax.jdo.option.ConnectionURL</name>
                <value>jdbc:mysql://192.168.131.132:3306/hive</value>
        </property>
<!--mysql驱动-->
        <property>
                <name>javax.jdo.option.ConnectionDriverName</name>
                <value>com.mysql.jdbc.Driver</value>
        </property>
<!--mysql用户名-->
        <property>
                <name>javax.jdo.option.ConnectionUserName</name>
                <value>root</value>
        </property>
<!--mysql中hive用户密码-->
        <property>
                <name>javax.jdo.option.ConnectionPassword</name>
                <value>123456</value>
        </property>

        <property>
                <name>hive.metastore.schema.verification</name>
                <value>false</value>
        </property>
</configuration>

    3. 第二个配置文件hive-env.sh

      # 这是我的环境配置（供参考）
# 所有的软件路径根据主机的安装路径来决定
export JAVA_HOME=/usr/local/java
export HADOOP_HOME=/usr/local/hadoop
export HIVE_HOME=/usr/local/hive

    4. 初始化Hive（注意：初始化之前需要打开Hadoop）

      schematool -dbType mysql -initSchema

      如果初始化不成功，详看问题解决【问题解决】

    5. 验证是否安装成功(能够进入到这个界面表示单机已经安装完成了)：

      hive

http://www.mikea.ltd/img/image-20211130094819652

  1. 配置其他节点的Hive

    1. 将安装包传到其他节点
    scp -r 文件路径 用户@主机名：存放路径
# 示例 ： scp -r /usr/local/hive root@test1:/usr/local
    1. 其他节点主机的配置（将其它两个连接到Master主机）
 [hadoop@hadoop02 ~]$ vim hive/conf/hive-site.xml
  <configuration>
  <property>
  <name>hive.metastore.uris</name>
  <value>thrift://Master:9083</value>
  </property>
  </configuration>
  [hadoop@hadoop03 ~]$ vim hive/conf/hive-site.xml
  <configuration>
  <property>
  <name>hive.metastore.uris</name>
  <value>thrift://Master:9083</value>
  </property>
  </configuration>

​

（四）问题解决（问题还不全面，有疑问的可以提出一起解决)

  1. 问题【Hadoop配置安装】

    Hadoop安装后jps查询，会有如下几个进程：

    http://www.mikea.ltd/img/image-20211130091453515

    如果没有这几个进程，建议直接跳转到：【Hadoop安装配置】

  2. 问题（1）：无法完成初始化
    Error: Duplicate key name 'PCS_STATS_IDX' (state=42000,code=1061)org.apache.hadoop.hive.metastore.HiveMetaException: Schema initialization FAILED! Metastore state would be inconsistent !!

    原因：MySQL中已经存在Hive需要的表

    解决方式：删除MySQL中的所有表然后再进行初始化

  3. 问题（2）：配置文件问题

    报错现象(如果是按照上面的hive-env.sh进行配置的话不会出现这个问题)：

    [root@master bin]# ./schematool -dbType mysql -initSchema
Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=512M; support was removed in 8.0
which: no hbase in (/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/usr/java/jdk1.8.0_191/bin:/root/bin)
Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=512M; support was removed in 8.0
Metastore connection URL:     jdbc:mysql://192.168.52.26:3306/hive
Metastore Connection Driver :     com.mysql.jdbc.Driver
Metastore connection User:     APP
org.apache.hadoop.hive.metastore.HiveMetaException: Failed to get schema version.
*** schemaTool failed ***

    解决方法：

    hive-site.xml文件中添加以下内容

    <property>
      <name>javax.jdo.option.ConnectionURL</name>
      <value>jdbc:mysql://192.168.52.26:3306/hive</value>
  </property>
  <property>
      <name>javax.jdo.option.ConnectionDriverName</name>
      <value>com.mysql.jdbc.Driver</value>
  </property>
  <property>
      <name>javax.jdo.option.ConnectionUserName</name>
      <value>root</value>
  </property>
  <property>
      <name>javax.jdo.option.ConnectionPassword</name>
      <value>root</value>
  </property>
  4. 问题（3）：mysql-connecter 驱动问题 ：不同的版本对应的不同的驱动，驱动也很有可能导致无法初始化

（五）参考文档

紫色飞猪——整体思路

XiaoHH Superme——MySQL安装

魁·帝小仙—— Hive安装与配置详解

吹静静——问题（2）解决思路

legary1
关注
专栏目录
配置metastore到mysql_Hive学习之配置MySQL为Metastore
weixin_29742557的博客
01-19 844
Hive默认情况下以内嵌模式使用Derby数据库做为metastore，该模式最大的缺陷是不支持多个客户端同时连接到metastore上，因此只适合用于学习测试的目的，要在实际生产上使用Hive需要将metastore配置为本地模式或者远程模式，现在就介绍如何以本地模式配置metasHive默认情况下以内嵌模式使用Derby数据库做为metastore，该模式最大的缺陷是不支持多个客户端同时连接到...
hive-3
leezsj的博客
07-13 611
⼆级分区 ⼆级分区指的是在⼀张表中有两个分区,创建和插⼊时都要指定两个分区名,最常⻅的就 是下⾯案例的年和⽉,创建的语法和流程都是和⼀级分区⼀样,只是多⼀个分区⽽已. create table if not exists part2( id int, name string ) partitioned by (year string,month string) row format delimited fields terminated by ','; load data local inpath
hive --service metastore 启动报错
m0_54233757的博客
08-02 6164
Hadoop@masterHive]$2021-10-28153757StartingHiveMetastoreServeratorg.apache.hadoop.hive.metastore.RetryingHMSHandler.(RetryingHMSHandler.java84)atorg.apache.hadoop.hive.metastore.RetryingHMSHandler.getProxy(RetryingHMSHandler.java93)atorg.
一直卡在starting hive metastore server
liuandefeng的专栏
06-07 1106
java的project没有按IdeaIntellij格式弄
HIVE_第二讲_Hive 采用MySQL 作为元数据库
迎难而上
05-15 4504
上一篇我们讲解了如何搭建 Hive 数据库，但是 hive 使用derby 数据库存在 不支持多个连接的问题。所以需要我们 需要借用外部的元数据库，这里我们采用mysql第一步. 修改配置文件主要修改 conf 中的 hive-site.xml    , hive-env.sh hive-site.xml &lt;?xml version="1.0" encoding="UTF-8" standa...
mysql乱码修改character_set_server
weixin_34383618的博客
09-03 1727
[mac] 1、使用任何一个客房端或者命令行查询一下编码，俺用的是MySQLWorkbench SHOW VARIABLES LIKE 'character_set_%'; 2、发现编码是character_set_server = Latin1 3、将编码改为UTF8 4、前往-->前往文件夹/usr/local/mysql/ 5、mysql->support-files...
hive学习----常用函数
Kayleigh520的博客
01-06 251
Hive 常用函数 关系运算 数值计算 条件函数 日期函数 字符串函数 Hive 中的wordCount Hive 开窗函数 测试数据 建表语句 row_number：无并列排名 dense_rank：有并列排名，并且依次递增 rank：有并列排名，不依次递增 percent_rank：(rank的结果-1)/(分区内数据的个数-1) cume_dist：计算某个窗口或分区中某个值的累积分布。 NTILE(n)：对分区内数据再分成n组，然后打上组号 max、min、avg、count、sum：基
大数据学习之路-Hive
weixin_43441789的博客
03-09 835
Hive1. Hive基本概念1.1 什么是Hive1.2 Hive的优缺点1.2.1 优点1.2.2 缺点1.3 Hive架构原理1.4 Hive和 数据库比较1.4.1 查询语言1.4.2 数据更新1.4.3 执行延迟1.4.4 数据规模2. Hive安装2.1 Hive安装地址2.2 MySql安装2.3 Hive安装部署2.4 Hive元数据配置到MySql2.4.1 拷贝驱动2.4.2 配置Metastore到MySql2.5 启动Hive2.5.1 初始化元数据库2.5.2 启动Hive2.5.
Hive学习笔记
TigRer的博客
03-03 698
启动脚本 #!/bin/bash if [ $# -lt 1 ] then echo "No Args Input..." exit ; fi case $1 in "start"){ echo " =================== 启动 hadoop集群 ===================" echo " --------------- 启动 hdfs ---------------" ssh hadoop102 "/opt/mo
大数据-案例-离线数仓-在线教育：MySQL(业务数据)-ETL(Sqoop)-＞Hive数仓【ODS层-数据清洗-＞DW层(DWD-统计分析-＞DWS)】-导出(Sqoop)-＞MySQL-＞可视化
u013250861的博客
07-13 2050
一、访问咨询主题看板 1. 需求分析 目的: 分析每一个调研需求需要计算什么指标, 以及计算这个指标需要通过那些维度,而且还包括计算这个需求涉及 到那些表和那些字段 需求1: 统计指定时间段内，访问客户的总数量。能够下钻到小时数据 指标: 访问量 维度: 时间维度: 年 季度 月 天 小时 涉及到哪些表: web_chat_ems_2019_12 涉及到哪些字段: 时间维度: create_time 说明: 发现create_time字段中包含有年 月 天 小时
2021年7月国产数据库大事记
热门推荐
ToyaAkira00的博客
08-04 1万+
本文整理了2021年7月国产数据库大事件和重要产品发布消息。7月2日上午，飞腾携手易鲸捷等全国35家金融行业知名生态伙伴重磅发布《金融行业信息化转型升级 基于飞腾生态解决方案白皮书》。7月5日，腾讯云960万中标中国农业银行图数据库资源配置项目。7月12日，中国信通院联合百度智能云发布《金融级数据库容灾技术报告（2021年）》。
Hive系列之-2、Hive的安装方式
不积跬步无以至千里，不积小流无以成江河
08-27 360
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 大数据系列文章目录 目录Hive的安装方式内嵌模式本地模式远程模式Hive的安装准备工作安装mysql数据库安装HiveHive的交互方式第一种交互方式：bin/hive第二种交互方式：使用sql语句或者sql脚本进行交互第三种交互方式：Beeline ClientHive一键启动脚本安装expect创建脚本修改脚本权限启动beeline结束 Hive的安装方式 hive的安装一共有三种方式:内嵌模式、
Hive配置 远程连接MySQL
qq_38799155的博客
10-23 2393
因为hive是Hadoop的一个组件，作为数据厂库，hive的数据是存储在Hadoop的文件系统中的，hive为Hadoop提供SQL语句，是Hadoop可以通过SQL语句操作文件系统中的数据。hive是依赖Hadoop而存在的。 因此hive的安装详解,请参考博客:http://blog.csdn.net/qq_38799155/article/details/77605615在hadfs上创建
MYSQL如何开启远程访问连接HIVE
WhatSpace的专栏
07-13 1837
看到这个说明，有些小白可能会不太明白到底是什么意思？这里要提前说明一下，我们安装在自己电脑上的MYSQL一般测试用时，都用localhost来做连接，但如果让别人的电脑能够连接你安装的这个MYSQL服务器，你会发现默认是不行的，所以要开启远程访问，在此基础上，我们下面会以HIVE为基础，来看看如何操作HIVE与MYSQL之间的远程操作： 操作步骤如下： 1.开启MYSQL远程连接
JAVA-01-变量
LJH_laura_li的博客
11-08 289
在方法、构造函数或块内部定义的变量。
Java基于小程序公考学习平台的设计与实现（附源码，文档）
最新发布
chusheng1840的博客
11-09 525
Java基于小程序公考学习平台的设计与实现，小程序公考学习平台使用Java语言进行编码，使用Mysql创建数据表保存本系统产生的数据。系统可以提供信息显示和相应服务，其管理小程序公考学习平台信息，查看小程序公考学习平台信息，管理小程序公考学习平台。总之，小程序公考学习平台集中管理信息，有着保密性强，效率高，存储空间大，成本低等诸多优点。它可以降低信息管理成本，实现信息管理计算机化。关键词：小程序公考学习平台；Java语言；Mysql。
java_方法重写/覆盖(override)
HHppGo的博客
11-07 317
方法覆盖（重写）就是子类有一个方法，和父类的某个方法的名称、返回类型、参数一样，那么我们就说子类的这个方法覆盖了父类的方法。
并发编程的基础：深入理解内存屏障（Memory Barriers）
2401_86353562的博客
11-06 990
内存屏障是一种基础语言，在不同的计算机架构下有不同的实现细节。本文主要在x86_64处理器下，通过Linux及其内核代码来分析和使用内存屏障对大多数应用层开发者来说，“内存屏障”（memory Barrier）是一种陌生，甚至有些诡异的技术。实际上，他机制常被用在操作系统内核中，用于实现同步、驱动程序利用它，能够实现高效的无锁数据结构，提高多线程程序的性能表现。本文首先探讨了内存屏障的必要性，之后介绍如何利用内存屏障实现一个无锁唤醒振荡器（队列），用于在多个线程间进行高效的数据交换。
greendao使用封装
白高林的专栏
11-07 432
greenDAO
hive的安装与配置--第一关
05-15
下面是Hive的安装与配置过程： 1. 下载Hive安装包，解压到某个目录下； 2. 配置环境变量，包括HIVE_HOME、PATH等； 3. 配置Hive的元数据存储，有两种方式： （1）使用自带的Derby数据库 （2）使用MySQL等外部...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值