Hive的安装过程

最新推荐文章于 2024-04-09 16:35:50 发布
最新推荐文章于 2024-04-09 16:35:50 发布
阅读量212 收藏 2
点赞数
分类专栏： HIVE
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43479357/article/details/84639914
版权

文章目录

1.hadoop：

1. hdfs:

  1. 存储思想
    文件上传、文件下载、元数据合并
  2. 四大机制：
    1. 心跳、选择、心跳频率、死亡时间
    2. 机架、负载均衡、安全模式
    3. 磁盘元数据、内存元数据
    4. 安全模式退出的检查标准
  3. 操作：shell

2.mapreduce：

  1. 原理：

    1. maptask的并行度
    2. reducetask的并行度
    3. shuffle ****

  2. 操作：

     wc
 map的key的设计  场景
 join  mapjoin
 分区  ****
 排序   ***
 分组   ****
 combiner   *****

yarn：

产生背景：

hadoop1.0的模块：

  1. hdfs 分布式存储的

  2. mapreduce 分布式计算的 map/reduce v1
    启动job的时候，对应的进程jobtracker tasktracker
    主从结构

  3. jobtracker:（类似于yarn–resourcemanager）
    mr程序运行的老大
    1. 资源的分配
    2. 启动所有的应用程序 跟踪每一个应用程序的运行状态
    3. 不存在高可用的配置方案的 存在单点故障的

  4. tasktracker:
    负责为应用程序提供资源
    强行的将每一个节点的资源分为2部分：
    1.mapslot-----只能用于运行maptask任务
    2.reduceslot----只能用于运行reducetask的任务
    这种资源的分配方式严重的缺点：
    不能合理利用资源

  5. map/reduce V1:

     	1)扩展性差     
 	2）可靠性低   不支持高可用的配置   存在单点故障  
 	3）资源利用率低  
 	4）map/reduce V1只能支持mapreduce任务的执行  
 	不能调度其他的计算任务
 	yarn：spark on yarn

hadoop2.0

	模块：HDFS   MAPREDUCE  YARN

YARN的架构：

	主从架构的  resourcemanager   nodemanager

1. 主节点：resourcemanager

		整个资源调度的老大
		1）负责为每一个job分配资源
		2）负责启动当前job的老大  MRappmaster
		3)负责管理所有的nodemanager
		监控从节点的资源状况   存活状况
		
		组成：
1.1 ASM:
  1. applicationsmanager:管理所有的应用程序
  2. 所有job的管理者
  3. 管理所有的job的MRappmaster
  4. 负责mrappmaster启动，及mrappmaster的运行状态的监控 失败重启
1.2 Scheduler：
  1. 调度器
  2. yarn上提交多个job的时候 调度器就负责哪一个任务先执行 哪一个任务后执行
  3. job的运行顺序问题
    分类：
FIFO:FIRST IN FIRST OUT 先进先出
  1. 内部维护一个队列 先提交的job在队列的最前面
  2. 优先调度队列前面的
  3. 按job提交的先后顺序进行调度的
  4. 缺陷：如果前面提交的任务都是大的任务，造成后面的任务需要等待很长时间
Fair：公平调度器
  1. 第一个提交的任务 全部的资源执行这个任务
  2. 第一个任务执行的过程中 又提交了一个任务 两个job平分资源 每个job占用一半资源
  3. 如果又提交一个 资源在进行平分 每一个job占用1/3
  4. 多个job平分资源的
  5. 缺点：每一个任务的计算量不一样 如果说有一个任务计算量很大 会造成这个任务的运行时间比较长的
Capacity：计算能力调度器 容量调度器

  1. 可以根据job的实际的运行的任务 进行一个手动的资源的划分

  2. 内部维护的是多个队列

  3. 每一个队列都是先进先出的 FIFO

  4. 用户可以配置每一个队列的资源配比

    队列1： 70% 队列2： 30% 默认的调度器：capacity

从节点：nodemanager

  1. 负责给计算任务真正的提供资源的

  2. nodemanager提供资源的时候以Container为单位进行提供的

  3. Container：逻辑资源容器 虚拟资源容器

  4. 逻辑/虚拟:这部分资源没有真正的从节点中划分出来的

  5. 资源容器：封装了一定的资源（CPU 内存 网络 IO）的容器

  6. 封装了一定的资源的容器，但是这部分资源没有真正的从节点中物理划分出来

  7. nodemanager在提供资源的时候 要么n（正整数）的个container 要么是0个

    作用：
    1）为计算程序真正的提供资源
    2）接受resourcemanager的命令，并处理
    3）向resourcemanager发送心跳 告诉resourcemanager自己的存活状况
    4）接受并处理MRappmaster的命令

概念：
运行一个计算程序，满足的条件
	1）程序
	2）资源
	3）数据
MRappmaster:
	每一个job启动的时候  会最先启动一个这个job对应的MRappmaster
	wc   job------wc  MRappmaster
	PI-----   PI   MRappmaster
	一旦启动，
	1）负责向resourcemanager申请maptask  reducetask的资源
	2）负责启动当前job的maptask任务和reducetask任务
	3）负责跟踪每一个maptask  reducetask的运行状态
	4）将失败的maptask  reducetask任务进行重启

yarn的资源调度过程：
1）客户端向resourcemanager发送一个提交job的请求
hadoop jar …jar … … …
任务先提交给ASM，向ASM进行注册
ASM将任务转交给Scheduler
2）一旦有资源，调度器开始提交job的运行
resourcemanager(ASM)到对应的资源上启动当前应用程序的MRappmaster
3)MRappmaster向resourcemanager申请运行maptask和reducetask的资源
4）resourcemanager向MRappmaster返回资源节点
5）MRappmaster到对应的节点上启动Container，并在这个container中
启动maptask任务和reducetask任务
6）maptask和reducetask运行过程中向MRappmaster汇报自己的运行状态
和进度
7）maptask或reducetask运行完成就会向MRappmaster汇报
MRappmaster 进行资源销毁释放资源
8）所有的maptask和reducetask运行完成，MRappmaster向resourcemanager注销自己
释放资源
job的提交过程 ****
共享资源：
/tmp/hadoop-yarn/staging/hadoop/.staging/job_1541742916235_0015/job.jar
/tmp/hadoop-yarn/staging/hadoop/.staging/job_1541742916235_0015/job.split
/tmp/hadoop-yarn/staging/hadoop/.staging/job_1541742916235_0015/job.splitmetainfo
/tmp/hadoop-yarn/staging/hadoop/.staging/job_1541742916235_0015/job.xml
job.jar job.split job.splitmetainfo job.xml
job.jar 原始jar包
job.split
job.splitmetainfo 当前job的切片信息 对应的maptask的并行度
job.xml job的配置文件 job中所有的相关设置
job.getConfiguration()

maptask或reducetask从共享资源下载的文件在本地的目录：
/home/hadoop/data/hadoopdata/nm-local-dir/usercache/hadoop/appcache

yarn为mapreduce任务资源调度服务的
注意：
1）第10步中rm向mrappmaster返回maptask的资源节点的时候
优先返回当前的mr任务的数据所在节点
数据本地化原则
如果说mr任务输入的数据的数据块存储的节点没有资源了
这个时候rm会就近原则进行返回节点
同机架
不同机架 同机房
2）安装集群的过程中，配置的从节点既是hdfs的从节点datanode
也是yarn的从节点 nodemanager
集群的运行过程中 nodemanager节点必然是datanode节点
nodemanager:提供资源 运行程序
datanode：提供数据存储
这么配置的原因：数据在哪 计算在哪
mr的设计原则：移动计算比移动数据更划算 计算向数据靠近

补充：
shuffle：
80M溢写完成之后会移动元数据和原始数据形成背对背的结构
形成一个新的分界线

hive

数据仓库
产生的背景：
hadoop中hdfs负责存储，mapreduce负责统计分析
单词统计
学生成绩统计 topN 平均分 结构化数据
流量统计 一个手机号的所有的上行流量 下行流量 总流量 结构化数据
join 结构化数据

上面的需求，如果数据量小的时候，这些针对结构化数据的分析sql是最方便  高效的开发方式
但是现在数据量大了  所以用MR框架
缺点：
	开发的成本高
		用人成本
			招聘  java   MR
			主流的语言  java  c   python
		时间成本:
			开发的周期比较长的
如果可以有一个组件，提供sql编程，分布式运行计算程序就好了
hive就是干这个
hive就是对外提供hql编程（方言版的sql），将hql转换为MR任务的工具
hive底层数据hdfs的，计算使用的MR
hive相当于对hadoop做了一层上层封装  
hive可以看做值hadoop的另外一种模式的客户端
hive可以极大的降低结构化数据分析的成本
对于半结构化或非结构化的数据hive是不可以分析的

Hive是什么？

1.Hive 由 Facebook 实现并开源
	apache基金会的顶级项目
	http://hive.apache.org/
2.是基于 Hadoop 的一个数据仓库工具
	数据仓库和数据库区别
	1）概念
	数据仓库：数据仓库更倾向于数据管理  
			管理的数据可以不是存储在自己本地的数据
			通常用于大批量的数据管理
	数据库：
		存储的数据一般在自己的本地
		通常用于存储小批量的数据   一般用于存储结果数据
	2）使用
	数据仓库：hql  方言sql
	数据库：
		mysql   标准sql
		nosql 数据库  自己的一套shell
	3）应用场景上
		OLAP    On line Analysis Processing
			联机分析处理    查询    数据仓库
			hive中不支持事务的
			hive中甚至不支持update  delete操作  支持insert  但是性能比较低
		OLTP   On line Transaction Processing
			联机事务处理  增删改的操作   数据库
	4）模式上
		数据仓库：hive
			读模式
		数据库：	
			关系型数据库写模式
			分布式的数据库的模式不确定
	
3.可以将结构化的数据映射为一张数据库表
	在hive中指定一份结构化的数据，就可以用hive中的表进行关联
	数据文件的一行数据-----hive表中的一条数据
	数据文件中的一个字段---hive表中的一列
	computer,huangxiaoming,85
	computer,xuzheng,54
	computer,huangbo,86
4.并提供 HQL(Hive SQL)查询功能
	hive对外提供hql查询
5.底层数据是存储在 HDFS 上
	hive的原始数据存储的hdfs的，在hdfs上有一个hive的默认目录
	称为hive的家目录，hive中存储的所有的表数据默认存储在hive的
	家目录下
6.Hive的本质是将 SQL 语句转换为 MapReduce 任务运行
	在hive的底层会保存很多map和reduce模板
	hive最后将hql语句翻译成map  reduce任务
7.使不熟悉 MapReduce 的用户很方便地利用 HQL 
	处理和计算 HDFS 上的结构化的数据
8.适用于离线的批量数据计算
	依赖于hadoop

hive的优缺点：

优点：延展性 自定义函数
缺点：
1）不支持事务
2）不支持行级别的update delete操作
目前支持insert的操作 性能低
3）查询的延时性高 不适合实时

hive的架构：
1）用户接口层：CLI shell访问
ODBC/JDBC 代码
WEB UI 网页访问 不用 1）配置复杂 2）丑

2）Thrift Server:跨语言服务层 c java python
将各个语言 翻译成hive识别的操作符
3）元数据库层：
元数据库存储的是用于描述hive中的库或表或表字段的信息的数据
hive的元数据是结构化数据存储的，hive的元数据存储在关系型数据库的
默认存储在derby的数据库的 一般情况下我们会改为mysql

hive中表：stu(id int,name String,age int)
元数据：表名  表的字段   字段的顺序  字段的类型
原始数据：存储的是表中的数据
	例如：表中一条数据：1，zs,34  存储在hdfs的

4）驱动层
(1) 解释器：解释器的作用是将 HiveSQL 语句转换为抽象语法树（AST）
(2) 编译器：编译器是将语法树编译为逻辑执行计划 初步构思
(3) 优化器：优化器是对逻辑执行计划进行优化 相同的任务进行合并
(4) 执行器：执行器是调用底层的运行框架执行逻辑执行计划

hive的安装：
安装准备：
jdk
hadoop
mysql
安装好的
安装节点：
一个节点
安装的版本：
下载安装包的镜像站：

		http://mirror.bit.edu.cn/apache/hive/ 

		http://mirrors.hust.edu.cn/apache/hive/ 

		http://mirrors.shu.edu.cn/apache/hive/ 

		http://mirrors.tuna.tsinghua.edu.cn/apache/
	hive2.3.2版本
	1.2.1 版本

安装：

1）元数据库使用自带的derby数据库

步骤：

1）上传安装包

2）解压

		tar -xvzf apache-hive-2.3.2-bin.tar.gz

3）配置环境变量

		为了方便集群的版本升级，可以先创建软连接
		ln -s apache-hive-2.3.2-bin hive
		配置换变量：

sudo vi /etc/profile
export HIVE_HOME=/home/hadoop/apps/hive
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin

		source /etc/profile

4）元数据库初始化

schematool -dbType derby -initSchema

schemaTool completed 证明初始化成功
注意：元数据初始化不成功的时候不要启动hive
初始化完成后会发现在初始化的目录下，会多两个文件
derby.log derby的日志文件
metastore_db 存放元数据库的

5)启动

hive
hive> hive的客户端操作界面 可以执行hive的shell
对于hive来说sql的绝大多数是可以使用的
直接启动发现报错
元数据库报错 元数据的实例化报错
FAILED: SemanticException
org.apache.hadoop.hive.ql.metadata.HiveException:
java.lang.RuntimeException: Unable to
instantiate
org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

这种方式在哪一个目录初始化 在哪一个目录启动 没有问题的
切换目录，报错：
FAILED: SemanticException org.apache.hadoop.hive.ql.metadata
.HiveException: java.lang.RuntimeException:
Unable to instantiate
org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

derby这种方式启动的时候只会读取启动目录下的元数据库，
切换目录后启动目录下没有元数据信息了，所以报错

缺陷：
元数据信息无法共享的
本目录只能访问本目录下的元数据信息
只适合单用户使用 不适合多用户

2)元数据库为mysql的安装方式

1）安装mysql并配置好mysql的用户名密码

yum安装mysql

1）配置yum源

在/mnt创建目录cdrom
mkdir cdrom
挂载
sudo mount -t iso9660 -o ro /dev/cdrom /mnt/cdrom/
配置本地的yum源
cd /etc/yum.repos.d/
sudo rename .repo .repo.bak *
sudo cp CentOS-Media.repo.bak CentOS-Media.repo

sudo yum clean all
yum repolist

2)安装mysql
sudo yum install -y mysql-server
sudo service mysqld start
3)修改mysql的用户名 密码
use mysql;
delete from user where user=’’;
update user set host=’%’ where host=‘localhost’;
update user set password=PASSWORD(‘123456’) where user=‘root’;
flush privileges;

退出mysql
重启mysql服务

2）上传hive的安装包
3）解压hive的安装包
4）修改环境变量
5）修改hive的配置文件
/home/hadoop/apps/hive/conf
touch hive-site.xml

<configuration>

<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/myhive?createDatabaseIfNotExist=true</value>
<description>元数据库的连接url,myhive指的是hive的元数据在mysql中的库名</description>
<!-- 如果 mysql 和 hive 在同一个服务器节点，那么请更改 hadoop02 为 localhost -->
</property>

<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>指定元数据库mysql的驱动类</description>
</property>

<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
<description>元数据库mysql的用户名</description>
</property>

<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
<description>元数据库mysql的密码</description>
</property>
</configuration>
6)将mysql的驱动包放在hive的依赖库lib下
7）初始化hive的元数据库
		schematool -dbType mysql -initSchema
		schemaTool completed
8）启动hive
		hive >
		
		hive初体验：
		create database test;
		use test;
		建表关联score数据
		math,huangxiaoming,85
		create table stu(course string,name string,score int) row 
		format delimited fields terminated by ','; 

		row format行格式化
		delimited  分界
		fields terminated  列分界符
		lines terminated by '\n'  行分割符
		
		本地数据加载到表中
		load data local inpath '/home/hadoop/tmpdata/score' into table stu;
爱家人爱生活的独行者
关注
专栏目录
hive安装过程.txt
10-12
hive安装过程
HIVE安装（详细教程）
最新发布
2301_77836489的博客
06-01 1856
HIVE安装（详细教程）
Hive——Hive安装全流程
xdx_dili的博客
09-05 694
Hive——Hive安装全流程
Hive 3.1.3 离线安装
shangjg3的博客
08-02 208
将驱动放到/data/olap/hive-3.1.3/lib 目录。
Hive的安装（超详细）
相当工程师小陈的博客
11-23 8631
Hive的安装模式 嵌入模式：使用内嵌的 Derby数据库存储元数据，这种方式是Hive的默认安装方式，配置简单，但是一次只能连接一个客户端，适合用来测试，不适合生产环境。 本地模式：采用外部数据库存储元数据，该模式不需要单独开启Metastore服务，因为本地模式使用的是和Hive在同一个进程中的Metastore服务。 远程模式：与本地模式一样，远程模式也是采用外部数据库存储元数据。
HIVE安装及详解
10-14
"HIVE安装及详解" HIVE是一种基于Hadoop的数据仓库工具，主要用于处理和分析大规模数据。下面是关于HIVE的安装及详解。 HIVE基本概念 HIVE是什么？HIVE是一种数据仓库工具，主要用于处理和分析大规模数据。它将...
hive客户端安装_hive客户端安装_hive_
10-01
以上就是Hive客户端的安装和基本使用过程。通过这个客户端，你可以方便地对存储在Hadoop上的大数据进行结构化查询和分析。在实际生产环境中，你可能还需要配置其他高级特性，如Hive与Hadoop安全性的集成、优化性能...
hive安装步骤
09-06
"Hive安装步骤详解" 本文档详细介绍了在 Linux 环境下安装 Hive 的具体步骤，并提供了多张插图，帮助读者更好地理解安装过程。文章主要分为两个部分：安装 MySQL 和安装 Hive。 安装 MySQL 在安装 Hive 之前，...
hive安装文件
05-06
本篇将详细介绍Hive的安装过程，重点关注给定的文件：`jline-2.12.jar`, `MySQL-connector-Java-5.0.8-bin.jar` 和 `hive-site.xml`。 1. **`jline-2.12.jar`**：这是一个Java库，主要用于提供命令行接口的用户交互...
HIve安装配置（超详细）
热门推荐
W_chuanqi的博客
04-19 7万+
文章目录Hive安装配置一、Hive安装地址二、Hive安装部署1. 把 `apache-hive-3.1.2-bin.tar.gz`上传到Linux的/export/software目录下2. 解压`apache-hive-3.1.2-bin.tar.gz`到/export/servers/目录下面3. 修改`apache-hive-3.1.2-bin.tar.gz`的名称为hive4. 修改/etc/profile，添加环境变量5. 初始化元数据库（默认是derby数据库）三、MySQL安装1. 安装M
【大数据离线开发】8.2 Hive的安装和配置
小卓仗剑走天涯的博客
02-28 461
创建一个新的用户：create user ‘hiveowner’@‘%’ identified by ‘Welcome_1’;需要停止Hadoop环境，修改hdfs-site.xml，打开禁用HDFS的权限检查的功能，然后重新启动。查看root用户的密码：cat /var/log/mysqld.log | grep password。在嵌入模式下，在哪个目录下执行的数据库初始化，就应该在哪个目录下执行: hive。启动hive，然后创建测试学生表，同嵌入模式一样，然后通过网页的方式进行查询。
Hive安装详细步骤
tyh1579152915的博客
10-31 2万+
一、下载hive 下载hive——地址：http://mirror.bit.edu.cn/apache/hive/ 二、安装mysql 执行以下几个命令安装mysql su - root yum -y install mysql mysql-server mysql-devel wget http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm rpm -ivh mysql-community-release-el7-5
【HIVE安装超详细教程】
2401_82451071的博客
04-09 501
需要搭建配置好Hadoop集群并启动，如果有不熟悉Hadoop集群搭建的朋友，可以参考我的另一篇文章《Hadoop集群搭建配置教程》在hadoop1这个虚拟机节点上安装MySQL服务。需要安装好java 运行环境 JDK。至此，我们就完成了Hive的安装。注意：hive的默认引擎为。
Hadoop离线_Hive的安装部署以及使用方式
weixin_44449054的博客
01-15 296
安装部署 Derby版hive直接使用 创建目录：cd /export/softwares 软件包解压：tar -zxvf hive-1.1.0-cdh5.14.0.tar.gz -C ../servers/ cd /export/servers/hive-1.1.0-cdh5.14.0/ 启动：bin/hive 缺点：多个地方安装hive后，每一个hive是拥有一套自己的元数据，大家的库、表就不统一； 使用mysql共享hive元数据 国内下载mysql源：http://mirrors.
Hive安装（超详细）
小财迷嘻嘻的博客
09-14 4520
1、前置条件 1、安装jdk 2、安装hadoop 3、安装zookeeper 4、安装hbase 5、安装mysql 2、Hive解压安装 将压缩文件解压到opt目录下：tar -zxvf hive-1.1.0-cdh5.14.2.tar.gz -C /opt 进opt目录改名：mv hive-1.1.0-cdh5.14.2 hive 3、Hive环境搭建 1、在hive目录下新建warehouse：mkdir warehouse 2、配置环境变量：vi /etc/profile 新增export HIV
hive安装过程全程解析、hive常规操作、说明
认知 行动 坚持
06-29 1309
hive安装过程全程解析、hive常规操作、说明
Hive安装教程-Hadoop集成Hive
zcs2312852665的博客
03-09 2531
本文将介绍安装和配置Hive的步骤。在开始之前，我们需要满足一些安装条件，包括安装JDK、MySQL和Hadoop。我们将逐步指导您完成这些准备工作，并详细说明如何下载、解压和设置Hive。接下来，我们将修改Hive的配置文件，并创建Hive的元数据数据库。最后，我们将演示如何初始化Hive数据库并进入Hive命令行界面，以及如何设置允许远程访问。本文详细介绍了安装和配置Hive的步骤。您学习了如何下载、解压和设置Hive，并修改了配置文件以适应您的环境。
Hive详细的安装流程
zhusiqing6的博客
06-02 408
安装准备： 安装hive之前保证hadoop（zk） jdk 安装版本： 主流 1.2 2.3 https://mirrors.tuna.tsinghua.edu.cn/apache/ 镜像 安装 2.3.2 安装节点： 一个节点就可以 hdp03 安装模式： 1）使用自带的元数据库 1）上传 2）解压 tar -xvzf apache-hive-2.3.2-bin.tar.gz 3）配置环境变量...
Hive安装教程与Python连接Hive指南
通过一个详细的步骤展示了在Linux环境下安装Hive的过程，并提供了配置Hive环境变量及连接MySQL作为元数据存储的示例。此外，还提到了使用Python进行Hive操作的相关信息。" 在本文档中，我们首先看到的是如何在Linux...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值