hive 创建访问用户_Hive详细教程

本文详细介绍了Hive的选型理由、功能特点、安装过程,特别是如何配置使用MySQL作为元数据存储。内容涵盖Hive在Hadoop生态中的角色、Hive的SQL解析、元数据管理,以及Hive的安装步骤,包括环境变量设置、配置文件修改等。同时,文章还涉及了MySQL的安装和配置,以满足多用户访问的需求。最后,讨论了Hive的用户接口、数据存储、数据模型(内部表、分区表、桶表、外部表)以及查询操作,包括导入数据、查询限制和表连接等。
摘要由CSDN通过智能技术生成

为什么选择Hive?

基于Hadoop的大数据的计算/扩展能力

支持SQL like查询语言

统一的元数据管理

简单编程

Hive的安装

1.1在hadoop生态圈中属于数据仓库的角色。他能够管理hadoop中的数据,同时可以查询hadoop中的数据。

本质上讲,hive是一个SQL解析引擎。Hive可以把SQL查询转换为MapReduce中的job来运行。

hive有一套映射工具,可以把SQL转换为MapReduce中的job,可以把SQL中的表、字段转换为HDFS中的文件(夹)以及文件中的列。

这套映射工具称之为metastore,一般存放在derby、mysql中。

1.2 hive在hdfs中的默认位置是/user/hive/warehouse,是由配置文件hive-conf.xml中属性hive.metastore.warehouse.dir决定的。

2.hive的安装

(1)解压缩、重命名、设置环境变量

(2)在目录$HIVE_HOME/conf/下,执行命令mv hive-default.xml.template  hive-site.xml重命名

在目录$HIVE_HOME/conf/下,执行命令mv hive-env.sh.template  hive-env.sh重命名

(3)修改hadoop的配置文件hadoop-env.sh,修改内容如下:

export HADOOP_CLASSPATH=.:$CLASSPATH:$HADOOP_CLASSPATH:$HADOOP_HOME/bin

(4)在目录$HIVE_HOME/bin下面,修改文件hive-config.sh,增加以下内容:

export JAVA_HOME=/usr/local/jdk

export HIVE_HOME=/usr/local/hive

export HADOOP_HOME=/usr/local/hadoop

3.安装mysql

(1)删除linux上已经安装的mysql相关库信息。rpm  -e  xxxxxxx   --nodeps

执行命令rpm -qa |grep mysql 检查是否删除干净

(2)执行命令 rpm -i   mysql-server-********  安装mysql服务端

(3)启动mysql 服务端,执行命令  mysqld_safe &

(4)执行命令 rpm -i   mysql-client-********  安装mysql客户端

(5)执行命令mysql_secure_installation设置root用户密码

4. 使用mysql作为hive的metastore

(1)把mysql的jdbc驱动放置到hive的lib目录下

(2)修改hive-site.xml文件,修改内容如下:

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

javax.jdo.option.ConnectionURL

jdbc:mysql://hadoop0:3306/hive?createDatabaseIfNotExist=true

javax.jdo.option.ConnectionDriverName

com.mysql.jdbc.Driver

javax.jdo.option.ConnectionUserName

root

javax.jdo.option.ConnectionPassword

admin

·用户接口,包括 CLI,JDBC/ODBC,WebUI

·元数据存储,通常是存储在关系数据库如 mysql, derby 中

·解释器、编译器、优化器、执行器

·Hadoop:用 HDFS 进行存储,利用 MapReduce 进行计算

用户接口主要有三个&

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值