大数据(九) - Hive

最新推荐文章于 2023-03-07 18:17:04 发布
最新推荐文章于 2023-03-07 18:17:04 发布
阅读量5.1k 收藏 6
点赞数 3
分类专栏： 大数据 文章标签： 大数据 hadoop 生态系统 hive 数据仓库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/matthewei6/article/details/50540172
版权
Hive是一个基于Hadoop的数据仓库工具，提供类SQL查询语言HQL，适用于离线数据处理。Hive包括用户接口、元数据存储、驱动器等组件，通过MapReduce进行计算和HDFS存储数据。虽然Hive简化了大数据查询，但其效率较低、HQL表达能力有限且不支持迭代算法。此外，Hive支持分区和桶的概念，以及一些特定的SQL操作，如JOIN和ORDER BY，但不支持UPDATE和非等值JOIN。Hive还允许用户自定义函数来扩展其功能，并有与HBase、Stinger、Shark和Impala等系统的交互和对比。
摘要由CSDN通过智能技术生成
构建在Hadoop之上的 数据仓库，数据计算使用MR，数据存储使用HDFS
        因为数据计算使用mapreduce，因此通常用于进行离线数据处理
Hive 定义了一种类 SQL 查询语言——HQL
        类似SQL，但不完全相同
可认为是一个HQL-->MR的语言翻译器。
简单，容易上手

有了Hive，还需要自己写MR程序吗？
        Hive的HQL表达的能力有限
                迭代式算法无法表达
                有些复杂运算用HQL不易表达
        Hive 效率较低
                Hive自动生成MapReduce作业，通常不够智能；
                HQL调优困难，粒度较粗
                可控性差

Hive各模块组成
        用户接口
                包括 CLI，JDBC/ODBC，WebUI
        元数据存储（metastore）
                默认存储在自带的数据库derby中，线上使用时一般换为MySQL
        驱动器（Driver）
                解释器、编译器、优化器、执行器
        Hadoop
                用 MapReduce 进行计算，用 HDFS 进行存储
最低0.47元/天 解锁文章
will的成长之路
关注
专栏目录
Hive以及Hive安装部署
望山。
11-15 1981
文章目录1.Hive简介1.1什么是Hive1.2为什么使用Hive1.3Hive的特点1.4Hive架构图1.5Hive与Hadoop的关系1.6Hive与传统数据库对比2.HIVE的安装部署1.derby版hive直接使用1、解压hive2.修改目录名称3.初始化元数据库4.启动5.创建数据库6.创建表7.插入数据8.可能遇到的问题9.Hive启动报错Safe mode2.基于mysql管理元数据版hive1、解压hive2.修改目录名称3.检测服务器mysql数据库4.配置mysql允许外网访问5.退
大数据（017）Hive【Hive介绍】
张--小涛涛
09-12 1826
一、HIVE介绍 HIVE产生的目的：方便非java编程者对hdfs数据进行MapReduce操作 HIVE概念：hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进 行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的M
大数据技术之Hive（一）
a376712116的博客
07-14 2122
一 、Hive 基本概念 1.1 什么是 Hive 　　Hive：由 Facebook 开源用于解决海量结构化日志的数据统计。 　　Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类 SQL 查询功能。 　　本质是：将 HQL 转化成 MapReduce 程序 　　1）Hive 处理的数据存储在 HDFS 　　2）Hive 分析数据底层的实...
大数据hive
andy的博客
11-07 933
Hive：由Facebook开源用于解决海量结构化日志的数据统计工具。 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能 5大数据技术之Hive 版本：V3.0 第1章 Hive基本概念 1.1 什么是Hive 1） hive简介 Hive：由Facebook开源用于解决海量结构化日志的数据统计工具。 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能 2） Hive本质：
大数据-hive
weixin_43204767的博客
11-17 1129
1 hive环境搭建 2hive 安装 2.1 hive交互命令 1） “-e”不进入 hive 的交互窗口执行 sql 语句 [root@hadoop102 hive]# bin/hive -e “select * from test” 2） “-f”执行脚本中 sql 语句 bin/hive -f /opt/module/hive/datas/hivef.sql 主要运用写脚本时候使用的。 3 Hive数据类型 3.1 基本数据类型 对于 Hive 的 String 类型相当于数据库的 varchar
hive-testbench-hive14.zip大数据TPCDS-99SQL自动测试脚本
02-25
总结来说，“hive-testbench-hive14.zip”提供的测试工具和脚本，是评估和优化Hive在大数据环境下的性能的关键。通过对TPCDS 99条SQL查询的执行，我们可以深入理解Hive的性能特性，从而更好地支持企业的数据分析需求...
4 大数据基础 - Hive
12-20
大数据基础 - Hive 大数据处理是当前数据处理的热点，Hive 是 Hadoop 生态系统中的一部分，主要用于数据仓库和数据分析。下面将详细介绍 Hive 的基本概念和应用。 Hive 的基本概念 Hive 是一个数据仓库工具，基于...
大数据-数据迁移-hive、hbase、kudu迁移
03-29
在大数据领域，数据迁移是一项关键任务，特别是在组织从自建数据中心向云平台迁移的过程中。本文档详细记录了一次从自建Hadoop集群到华为云MRS（Managed Service for Big Data）的大规模数据迁移项目，涉及到了Hive...
大数据之-hiveSQL
最新发布
08-18
大数据之-hiveSQL
大数据系列-Hive入门与实战.pptx
09-21
目前最新版本是 Hive-2.0.0。 Hive 的设计特征 ----------------- Hive 设计了多种特征，旨在提高数据处理和查询效率： * 支持索引，加快数据查询 * 不同的存储类型，例如纯文本文件、HBase 中的文件 * 将元数据...
大数据之Hive
qq_48581332的博客
01-13 938
文章目录Hive的基本了解1.什么是Hive2.为什么要使用Hive3.Hive的特点4.Hive架构图5.Hive与Hadoop的关系Hive的安装部署1.derby版hive直接使用2.基于mysql管理元数据版hive外部表操作案例 Hive的基本了解 1.什么是Hive Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能（HQL）。 2.为什么要使用Hive 操作接口采用类SQL语法，提供快速开发的能力。 避免了去写MapReduc
大数据_Hive
一叶知秋
07-27 111
大数据_Hive数据仓库数据库与数据仓库的区别数仓的分层架构Hive简介架构Hive交互方式基本操作 英文名称为Data Warehouse，可简写为DW或DWH。数据仓库的目的是构建面向分析的集成化数据环 境，为企业提供决策支持（Decision Support）。它出于分析性报告和决策支持目的而创建。 数据仓库本身并不“生产”任何数据，同时自身也不需要“消费”任何的数据，数据来源于外部，并且开...
大数据之Hive<一>
morexyoung的博客
12-27 655
一 Hive基本概念1.1 什么是HiveHive：由Facebook开源用于解决海量结构化日志的数据统计。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。本质是：将HQL转化成MapReduce程序1）Hive处理的数据存储在HDFS2）Hive分析数据底层的实现是MapReduce3）执行程序运行在Yarn上1.2 Hive的优缺点1.
大数据学习之Hive
weixin_48205015的博客
03-07 479
hive 表类型 计算引擎 数据压缩与存储
大数据之hive概述
JeitZz的博客
04-29 431
hive简介 Hive最早来源于FaceBook ,因为FaceBook网站每天产生海量的结构化日志数据，为了对这些数据进行管理，并且因为机器学习的需求，产生了Hive这门技术，并继续发展成为一个成功的Apache项目。 hive的架构 图示 用户连接接口 CLI：是指Shell命令行 JDBC/ODBC:是指Hive的JAVA实现，与传统数据库JDBC类似。 WebUI:是指可通过浏览器访问Hive。 thriftserver hive的可选组件,此组件是一个软件框架服务，允许客户端使用包括Java、
大数据技术之Hive（六）
a376712116的博客
07-15 467
九、企业级调优 9.1 Fetch 抓取 Fetch 抓取是指，Hive 中对某些情况的查询可以不必使用 MapReduce 计算。例如： SELECT * FROM employees;在这种情况下，Hive 可以简单地读取 employee 对应的存储目录 下的文件，然后输出查询结果到控制台。 在 hive-default.xml.template 文件中 hive.fetc...
大数据技术之Hive（二）
a376712116的博客
07-14 1102
二 Hive 安装环境准备 2.1 Hive 安装地址 1）Hive 官网地址： http://hive.apache.org/ 2）文档查看地址： https://cwiki.apache.org/confluence/display/Hive/GettingStarted 3）下载地址： http://archive.apache.org/dist/hive/ 4）github...
大数据之Hive简介
qq_38800259的博客
08-20 413
Hive基本概念 1.1什么是Hive 1）hive简介 Hive:由facebook开源用于解决海量结构化日志的数据统计工具。 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 2）Hive本质：将HQL转化成MapReduce程序 （1）Hive处理的数据存储在HDFS （2）Hive分析数据底层的实现是MapReduce （3）执行程序运行在Yarn上 1.2Hive的优缺点 ...
"大数据系列-Hive入门与实战：简介、体系结构、工作机制和应用
目前最新版本是hive-2.0.0。 接着，我们详细介绍了Hive的体系结构。Hive的体系结构由三个主要组件组成：Hive Client、Hive Server和Hive Metastore。Hive Client是用户用来提交HiveQL查询的工具，Hive Server是处理...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值