大数据开发-hive（入门篇）

最新推荐文章于 2024-04-17 15:16:41 发布
最新推荐文章于 2024-04-17 15:16:41 发布
阅读量1.5w 收藏 352
点赞数 45
分类专栏： 大数据 文章标签： hive hadoop 大数据 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42646459/article/details/108296995
版权

大数据开发-hive（入门篇）

一、环境准备

  1. 安装好对应版本的hadoop集群

  2. 安装mysql服务

二、知识要点

1. Hive是什么

1.1 hive的概念

Hive：由Facebook开源，用于解决海量结构化日志的数据统计。

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。

本质是：将Hive SQL转化成MapReduce程序

在这里插入图片描述

1.2 Hive与数据库的区别

在这里插入图片描述

  • Hive 具有 SQL 数据库的外表，但应用场景完全不同。
  • Hive 只适合用来做海量离线数据统计分析，也就是数据仓库。
1.3 Hive的优缺点

  • 优点

    • 操作接口采用类SQL语法，提供快速开发的能力（简单、容易上手）。

    • 避免了去写MapReduce，减少开发人员的学习成本。

    • Hive支持用户自定义函数，用户可以根据自己的需求来实现自己的函数。

  • 缺点

    • Hive 不支持记录级别的增删改操作
    • Hive 的查询延时很严重
    • Hive 不支持事务
1.4 Hive架构原理

在这里插入图片描述

  • 1、用户接口：Client

    • CLI（hive shell）、JDBC/ODBC(java访问hive)、WEBUI（浏览器访问hive）

  • 2、元数据：Metastore

    • 元数据包括：表名、表所属的数据库（默认是default）、表的拥有者、列/分区字段、表的类型（是否是外部表）、表的数据所在目录等；

      • 默认存储在自带的derby数据库中，推荐使用MySQL存储Metastore

  • 3、Hadoop集群

    • 使用HDFS进行存储，使用MapReduce进行计算。

  • 4、Driver：驱动器

    • 解析器（SQL Parser）
      • 将SQL字符串转换成抽象语法树AST
      • 对AST进行语法分析，比如表是否存在、字段是否存在、SQL语义是否有误。
    • 编译器（Physical Plan）：将AST编译生成逻辑执行计划。
    • 优化器（Query Optimizer）：对逻辑执行计划进行优化。
    • 执行器（Execution）：把逻辑执行计划转换成可以运行的物理计划。对于Hive来说默认就是mapreduce任务

在这里插入图片描述

2. Hive的安装部署

​ 注意hive就是一个构建数据仓库的工具，只需要在一台服务器上安装就可以了，不需要在多台服务器上安装。

  • 1、提前先安装好mysql服务和hadoop集群

  • 2、下载hive的安装包

    • http://mirror.bit.edu.cn/apache/hive/hive-1.2.2/apache-hive-1.2.2-bin.tar.gz
    • apache-hive-1.2.2-bin.tar.gz

  • 3、规划安装目录

    • /opt/bigdata

  • 4、上传安装包到服务器中

  • 5、解压安装包到指定的规划目录

    • tar -zxvf apache-hive-1.2.2-bin.tar.gz -C /opt/bigdata

  • 6、重命名解压目录

    • mv apache-hive-1.2.2-bin hive

  • 7、修改配置文件

    • 进入到Hive的安装目录下的conf文件夹中

      • vim hive-env.sh（mv hive-env.sh.template hive-env.sh）

        #配置HADOOP_HOME路径
export HADOOP_HOME=/opt/bigdata/hadoop
#配置HIVE_CONF_DIR路径
export HIVE_CONF_DIR=/opt/bigdata/hive/conf

      • vim hive-site.xml

        <?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
        <property>
          <name>javax.jdo.option.ConnectionURL</name>
          <value>jdbc:mysql://node1:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false&amp;useUnicode=true&amp;characterEncoding=UTF-8</value>
          <description>JDBC connect string for a JDBC metastore</description>
        </property>

        <property>
          <name>javax.jdo.option.ConnectionDriverName</name>
          <value>com.mysql.jdbc.Driver</value>
          <description>Driver class name for a JDBC metastore</description>
        </property>

        <property>
          <name>javax.jdo.option.ConnectionUserName</name>
          <value>root</value>
          <description>username to use against metastore database</description>
        </property>

        <property>
          <name>javax.jdo.option.ConnectionPassword</name>
          <value>123456</value>
          <description>password to use against metastore database</description>
        </property>
</configuration>

      • 需要将mysql的驱动包上传到hive的lib目录下

        • 例如 mysql-connector-java-5.1.38.jar

3. hive的交互方式

  • 先启动hadoop集群和mysql服务
3.1 Hive交互shell
cd /opt/bigdata/hive

bin/hive

在这里插入图片描述

3.2 Hive JDBC服务

  • 启动hiveserver2服务

    • 前台启动

      bin/hive --service hiveserver2

在这里插入图片描述

  • 后台启动

    nohup  bin/hive --service hiveserver2 &

在这里插入图片描述

  • beeline连接hiveserver2

    bin/beeline
beeline> !connect jdbc:hive2://node1:10000

在这里插入图片描述

3.3 Hive的命令
  • hive -e sql语句
    • 使用 –e 参数来直接执行hql的语句
cd /opt/bigdata/hive
bin/hive -e "show databases"

在这里插入图片描述

  • hive -f sql文件
    • 使用 –f 参数执行包含hql语句的文件
      在这里插入图片描述

4、Hive的数据类型

4.1 基本数据类型
类型名称描述举例
booleantrue/falsetrue
tinyint1字节的有符号整数1
smallint2字节的有符号整数1
int4字节的有符号整数1
bigint8字节的有符号整数1
float4字节单精度浮点数1.0
double8字节单精度浮点数1.0
string字符串(不设长度)“abc”
varchar字符串（1-65355长度，超长截断）“abc”
timestamp时间戳1563157873
date日期20190715
4.2 复合数据类型
类型名称描述举例
array一组有序的字段，字段类型必须相同 array(元素1，元素2)Array（1,2,3）
map一组无序的键值对 map(k1,v1,k2,v2)Map(‘a’,1,‘b’,2)
struct一组命名的字段，字段类型可以不同 struct(元素1，元素2)Struct(‘a’,1,2,0)

  • array字段的元素访问方式：

    • 下标获取元素，下标从0开始

      • 获取第一个元素

        • array[0]

  • map字段的元素访问方式

    • 通过键获取值

      • 获取a这个key对应的value

        • map[‘a’]

  • struct字段的元素获取方式

    • 定义一个字段c的类型为struct{a int;b string}
      • 获取a和b的值
        • 使用c.a 和c.b 获取其中的元素值
          • 这里可以把这种类型看成是一个对象
create table complex(
         col1 array<int>,
         col2 map<string,int>,
         col3 struct<a:string,b:int,c:double>
)

5、Hive的数据类型转换

5.1 隐式类型转换

  • 系统自动实现类型转换，不需要用户干预

    • 如tinyint可以转换成int，int可以转换成bigint。

    • 所有整数类型、float 和 string类型都可以隐式地转换成double。

    • tinyint、smallint、int都可以转换为float。

    • boolean类型不可以转换为任何其它的类型。

5.2 手动类型转换

  • 可以使用cast函数操作显示进行数据类型转换

    • cast (‘1’ as int)将把字符串’1’ 转换成整数1；
    • 如果强制类型转换失败，如执行cast(‘x’ as int)，表达式返回空值 NULL。

6、Hive的DDL操作

6.1 hive的数据库DDL操作
6.1.1、创建数据库
hive > create database db_hive;
或者
hive > create database if not exists db_hive;
  • 数据库在HDFS上的默认存储路径是==/user/hive/warehouse/*.db==
    在这里插入图片描述
6.1.2、显示数据库
  hive> show databases;
6.1.3、显示数据库
hive> show databases like 'db_hive*';
6.1.4、查看数据库详情
hive> desc database db_hive;
6.1.5、显示数据库详细信息
hive> desc database extended db_hive;
6.1.6、切换当前数据库
hive > use db_hive;
6.1.7、删除数据库
#删除为空的数据库
hive> drop database db_hive;

#如果删除的数据库不存在，最好采用if exists 判断数据库是否存在
hive> drop database if exists db_hive;

#如果数据库中有表存在，这里需要使用cascade强制删除数据库
hive> drop database if exists db_hive cascade;
6.2 hive的表DDL操作
6.2.1 、建表语法介绍
CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name 
[(col_name data_type [COMMENT col_comment], ...)] 
[COMMENT table_comment] 
[PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)] 分区
[CLUSTERED BY (col_name, col_name, ...) 分桶
[SORTED BY (col_name [ASC|DESC], ...)] INTO num_buckets BUCKETS] 
[ROW FORMAT row_format]   row format delimited fields terminated by “分隔符”
[STORED AS file_format] 
[LOCATION hdfs_path]
6.2.2 、字段解释说明
  • create table
    • 创建一个指定名字的表
  • EXTERNAL
    • 创建一个外部表，在建表的同时指定一个指向实际数据的路径（LOCATION），指定表的数据保存在哪里
  • COMMENT
    • 为表和列添加注释
  • PARTITIONED BY
    • 创建分区表
  • CLUSTERED BY
    • 创建分桶表
  • SORTED BY
    • 按照字段排序（一般不常用）
  • ROW FORMAT
    • 指定每一行中字段的分隔符
      • row format delimited fields terminated by ‘\t’
    • STORED AS
      • 指定存储文件类型
        • 常用的存储文件类型：SEQUENCEFILE（二进制序列文件）、TEXTFILE（文本）、RCFILE（列式存储格式文件）
        • 如果文件数据是纯文本，可以使用STORED AS TEXTFILE。如果数据需要压缩，使用 STORED AS SEQUENCEFILE。
  • LOCATION
    • 指定表在HDFS上的存储位置。
6.2.3、 创建内部表
  • 1、直接建表
    • 使用标准的建表语句
create table if not exists student(
id int, 
name string
)
row format delimited fields terminated by '\t'
stored as textfile;
  • 2、查询建表法
    • 通过AS 查询语句完成建表：将子查询的结果存在新表里，有数据
create table if not exists student1 as select id, name from student;
  • 3、like建表法
    • 根据已经存在的表结构创建表
create table if not exists student2 like student;
  • 4、查询表的类型
hive > desc formatted student;

在这里插入图片描述

6.2.4、 创建外部表
create external table if not exists default.emp(
id int,
name string,
age int
)
row format delimited fields terminated by '\t';
location '/hive/bigdata'
  • 创建外部表的时候需要加上**external** 关键字
  • location字段可以指定，也可以不指定
    • 指定就是数据存放的具体目录
    • 不指定就是使用默认目录 /user/hive/warehouse
      在这里插入图片描述
6.2.5、 内部表与外部表的互相转换
  • 1、内部表转换为外部表
#把student内部表改为外部表
alter table student set tblproperties('EXTERNAL'='TRUE');
  • 2、外部表转换为内部表
#把student管理表改为外部表
alter table student set tblproperties('EXTERNAL'='FALSE');
6.2.6、 内部表与外部表的区别

  • 1、建表语法的区别

    • 外部表在创建的时候需要加上external关键字

  • 2、删除表之后的区别

    • 内部表删除后，表的元数据和真实数据都被删除了

    • 外部表删除后，仅仅只是把该表的元数据删除了，真实数据还在，后期还是可以恢复出来

拓展点

  • hive cli命令窗口查看本地文件系统

    • 与操作本地文件系统类似，这里需要使用 ! (感叹号)，并且最后需要加上 ;(分号)
    • 例如
      • !ls /;

  • hive cli命令窗口查看HDFS文件系统

    • 与查看HDFS文件系统类似
      • dfs -ls / ;

  • hive的底层执行引擎有3种

    • mapreduce(默认)
    • tez（支持DAG作业的计算框架）
    • spark（基于内存的分布式计算框架）

总结

在这里插入图片描述

大锤哥哥Z
关注
  • 45
    点赞
  • 踩
  • 352
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
大数据开发入门
king_weng的博客
08-23 521
1、大数据4V（5V）特征 规模大（volume）：100TB以上 种类多（variety）：文本、图像、语音等 速度快（velocity）：数据输入和输出的速度 价值密度低（value）：商业价值高 （高可靠性（veracity）？） 2、大数据项目 3、大数据的基本处理流程 数据源==》采集==》存储==》处理==》可视化==》报告监控 4、Hadoo...
2-大数据技术之Hadoop（入门）
12-15
Hadoop，作为大数据技术的核心组件，是由Apache基金会开发的分布式系统基础架构，专门用于解决海量数据的存储和分析计算问题。Hadoop的起源可以追溯到2001年，由Doug Cutting在Lucene的基础上创建了一个名为Nutch的...
Hive大数据开发
爱是与世界平行
11-01 1485
Hive由Facebook实现并开源，基于Hadoop的一个数据仓库工具，可以将结构化的数据映射为一张数据库表，并提供**HQL(Hive SQL)**查询功能，底层数据是存储在HDFS上。Hive的本质是将SQL语句转换为 MapReduce任务运行，使不熟悉MapReduce的用户很方便地利用HQL处理和计算HDFS上的结构化的数据，适用于离线的批量数据计算。
Hive开发
weixin_33860528的博客
01-05 182
2019独角兽企业重金招聘Python工程师标准>>> ...
hive基础知识一
weixin_42575593的博客
10-03 1270
1. Hive是什么 1.1 hive的概念 Hive：由Facebook开源，用于解决海量（结构化日志）的数据统计。 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 本质是：将Hive SQL转化成MapReduce程序 1.2 Hive与数据库的区别 Hive 具有 SQL 数据库的外表，但应...
大数据开发之Hive（详细版，最后有实战训练）
key_honghao的博客
01-14 1959
第 1 章：Hive基本概念 1.1 Hive 1.1.1 Hive产生背景 HDFS来存储海量的数据、MapReduce来对海量数据进行分布式并行计算、Yarn来实现资源管理和作业调度。但是面对海量的数据和负责的业务逻辑，开发人员要编写MR对数据进行统计分析难度极大，所以就产生了Hive这个数仓工具。Hive可以帮助开发人员将SQL语句转化为MapReduce在yarn上跑。 1.1.2 hive简介 Hive是基于hadoop的一个数据仓库工具，将结构化的数据文件映射成一张表，并提供类SQL（HQL）查
Hive介绍与环境搭建
最新发布
m0_70988704的博客
04-17 1419
Hive 是基于Hadoop的一个数据仓库工具，它使用MapReduce计算框架(Hive在未来版本中将逐渐抛弃ManReduce，并转移到Spark等计算框架上)实现了常用SOL语句，关对外提供类SQL编程接口。MapReduce编程技术学习成本较高，应用较为复杂，业界人员又大多习惯使用SQL语言来处理数据。在这种情况下，Hive的出现降低了Hadoop的使用门槛，减少了开发MapReduce程序的时间成本，为用户、开发人员和科研人员提供了极大的方便。
MapReduce开发 大数据 入门 学习
03-09
本篇主要介绍MapReduce开发的基础知识，以大数据入门学习的角度出发。 首先，我们从一个简单的例子——WordCount程序开始。WordCount程序是MapReduce的典型应用，它统计一组文本文件中每个单词出现的次数。Map阶段...
从0开始-大数据技术学习思路.docx
04-19
1. **Java 语言基础**：Java 是大数据开发的主要编程语言，因此首先要熟练掌握 Java 语法、面向对象编程、异常处理、集合框架等基础知识。推荐阅读《java 编程思想》。 2. **数据库**：理解数据库系统的基础，如 ...
hadoop入门-01-集群搭建.docx
01-16
【Hadoop入门-01-集群搭建】 Hadoop是一个由Apache基金会所开发的开源分布式计算框架，它旨在处理和存储海量数据。Hadoop的核心组件包括HDFS（分布式文件系统）、YARN（运算资源调度系统）以及MAPREDUCE（分布式...
hive开发资料
10-08
hive开发资料hive开发资料hive开发资料hive开发资料hive开发资料
hive开发指南
01-05
hive开发指南，适合初学者和开发人员参考，对语句描述的非常清楚
第二章：《RDD编程实例》
weixin_45014721的博客
11-15 1138
1.函数式编程实例WordCount 任务：按照函数式编程的风格，编写一个程序，对某个目录下所有文件中的单词进行词频统计 做法：请进入Linux系统，打开“终端”，进入Shell命令提示符状态，然后，在“/usr/local/scala/mycode”目录下，新建一个wordcount子目录，并在“/usr/local/scala/mycode/wordcount”目录下新建两个包含了一些语句的文本文件word1.txt和word2.txt（你可以在文本文件中随意输入一些单词，用空格隔开），我们会编写Sca
学习笔记Hive（六） —— Hive开发应用
别呀的博客
10-05 1840
一、任务 1.1、商品零售购物篮分析 现代商品种类繁多，顾客往往会由于需要购买的商品众多而变得疲于选择，且顾客并不会因为商品选择丰富而选择购买更多的商品。 繁杂的选购过程往往会给顾客疲惫的购物体验。 1.2、了解顾客需求 1.3、任务目标 创建订单表和物品分类表 统计顾客数量和商品购买数量 统计各类型商品的购买情况 统计所有商品中排名前20的热销商品 统计不同类别商品中排名前10的热销商品 将同一个客户的订单整合为一列并写入HDFS 二、Hive 开发环境 2.1、搭建开发环境 在Eclips
大数据开发之Hive
m0_58371965的博客
11-29 529
Hive简介 定义 Facebook为了解决海量日志数据的分析而开发了hive，后来开源给了Apache基金会组织。 hive是一种用SQL语句来协助读写、管理存储在HDFS上的大数据集的数据仓库软件。 hive特点 ▪ hive 最大的特点是通过类 SQL 来分析大数据，而避免了写 mapreduce Java 程序来分析数据，这样使得分析数据更容易。 ▪数据是存储在HDFS上的，hive本身并不提供数据的存储功能 ▪hive是将数据映射成数据库和一张张的表，库和表的元数据信息一般存在关系型数据库
Hive数仓开发环境之DataGrip
qq_56870570的博客
09-15 816
数仓开发工具可选用DBeaver或者DataGrip。两者都需要用到JDBC协议连接到Hive，故需要启动HiveServer2。 1.启动HiveServer2 [atguigu@hadoop102 hive]$ hiveserver2 2.配置DataGrip连接 1）创建连接 2）配置连接属性 所有属性配置，和Hive的beeline客户端配置一致即可。初次使用，配置过程会提示缺少JDBC驱动，按照提示下载即可。 3.测试使用 创建数据库gmall，并观察是否创建成功。 1）创建
大数据之hive工具使用
很努力学习知识的博客
06-10 1224
大数据@TOC 使用hive的工具 hive是数据仓库所使用的一种语言，类似于sql。 需要连接服务器来使用，那么我介绍一下可以使用hive的工具。目前我所知道的有两种，一种是xshell，一种是dbeaver。 xhsell xhsell相当于是一种服务器，可以进行重启等操作。配置上即可使用。 dbeaver dbeaver是一个很全能的工具。下载之后，点击文件，新建，然后可以选择数据库或者ER...
3.Hive SQL数据定义语言（DDL）
hutc_Alan的博客
06-30 1184
Hive学习笔记3，自用
Apache Hive入门教程：Facebook创建的大数据仓库工具
"这篇文档是关于Apache Hive的教程译文，非常适合初学者学习。Hive是一个在Hadoop上处理结构化数据的数据仓库工具，由Facebook开发并贡献给Apache基金会。它不适用于在线事务处理和实时查询，但非常适合离线数据分析...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值