Hive

最新推荐文章于 2024-09-21 11:43:27 发布
最新推荐文章于 2024-09-21 11:43:27 发布
阅读量100 收藏
点赞数
分类专栏： 大数据 文章标签： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37604065/article/details/103605771
版权
本文适合初学者，介绍了Hive作为数据仓库的基础知识，包括数据仓库的概念、数据模型（星型和雪花型）、Hive的安装、Hive-Cli命令以及如何通过HQL进行数据查询。Hive将数据存储在HDFS上，提供类SQL查询功能，其元数据存储在metaStore中，并可通过控制台、CLI或JDBC接口操作。
摘要由CSDN通过智能技术生成

本文适合初学者学习

  • 数据仓库
  • Hive介绍
  • Hive安装

数据仓库

数据仓库建立
数据仓库是面向主题的数据库
在这里插入图片描述

  • OLTP应用
    面向事务

  • OLAP应用
    面向查询

数据仓库数据模型
  • 星型模型（主题固定）
    主题：商品推荐
    相关：客户、促销、订单、厂家、物流
  • 雪花模型（主题发散）
    主题：客户推荐
    相关：家庭、教育背景、住址
    以家庭为主题相关：xxx
    以教育背景为主题相关：xxx
    以住址为主题相关：xxx

Hive

  • Hive是建立在HDFS上的数据仓库
  • Hive可以对数据ETL
  • Hive定义类SQL查询语句,靠HQL解析引擎转成MR-Job在Hadoop上执行
  • Hive的表其实就是HDFS的目录/文件

Hive元素据

metaStore：包括表名、列名、分区名、表属性、数据所在目录

最低0.47元/天 解锁文章
我一天学一点
关注
专栏目录
pandas把一个表格 按某一特征 分成多个表格
Serene MA的博客
06-19 5029
# -*- coding: utf-8 -*- import pandas as pd data = pd.read_excel("C:\Users\inesa\PycharmProjects\cpu\mal.xlsx") rows = data.shape[0] # 获取行数 shape[1]获取列数 istack_list = [] for i in range(rows): ...
hive-exec-2.1.1.jar
03-14
hive-exec-2.1.1 是 Apache Hive 的一部分，特别是与 Hive 的执行引擎相关的组件。Apache Hive 是一个构建在 Hadoop 之上的数据仓库基础设施，它允许用户以 SQL（结构化查询语言）的形式查询和管理大型数据集。Hive ...
蓝桥杯 泉水问题
qq_43740785的博客
03-03 598
在写一个题目的时候，你会发现，使用简单的语句实现一个功能的时候，在作业提交的时候可能会发生超时的问题。这时候我们要小到一些替代的办法 问题 小明是一个地质调查员，在他调查的地方突然出现个泉眼。由于当地的地势不均匀，有高有低，他觉得这意味着这里在不久的将来将会一个小湖。水往低处流，凡是比泉眼地势低或者等于的地方都会被水淹没，地势高的地方水不会越过。而且又因为泉水比较弱，当所有地势低的地方被淹没后，水...
HIve安装配置（超详细）
热门推荐
W_chuanqi的博客
04-19 6万+
文章目录Hive安装配置一、Hive安装地址二、Hive安装部署1. 把 `apache-hive-3.1.2-bin.tar.gz`上传到Linux的/export/software目录下2. 解压`apache-hive-3.1.2-bin.tar.gz`到/export/servers/目录下面3. 修改`apache-hive-3.1.2-bin.tar.gz`的名称为hive4. 修改/etc/profile，添加环境变量5. 初始化元数据库（默认是derby数据库）三、MySQL安装1. 安装M
Hive Metastore详解大全
一个数据小开发的博客
08-12 1万+
1、何为Hive MetaStore？
Hive分区
hyj
03-19 7817
Hive分区应用实战
hive rlike
言之。
02-21 1万+
需要注意的是，在 Hive 中使用正则表达式时，通常需要使用正则表达式的规则语法。它用于判断一个字符串是否匹配指定的正则表达式。，我们想要查找内容中包含数字的行，可以使用。是用来进行正则表达式匹配的操作符。在 Hive SQL 中，列中包含任何数字的行。
【Hive】Windows下安装Hive（包安装成功）（附：常见错误解答FAQ（Frequently Asked Questions））
tttzzzqqq2018的博客
07-31 8921
【实操】【Hive】Windows下安装Hive（包安装成功）（附：常见错误解答FAQ（Frequently Asked Questions））
Hive数据类型
惊鸿的博客
04-11 1万+
Hive数据类型支持的类型原始数据类型注意DATE类型整数类型小数、Boolean、二进制文本类型时间类型类型转换隐式转换显示转换（CAST函数）复杂数据类型详解ARRAY和MAPSTRUCTUNION实例 支持的类型 hive支持两种数据类型：原始数据类型、复杂数据类型 原始数据类型 原始数据类型包括数据型，布尔型，字符串型，具体如下表： 类型 描述 示例 TINYINT（tinyint） 一个字节（8位）有符号整数， -128~127 1 SMALLINT（smallint）
Hive和Spark
weixin_44870066的博客
05-17 1万+
1. Hive简介 hive的定位是数据仓库，其提供了通过 sql 读写和管理分布式存储中的大规模的数据，即 hive即负责数据的存储和管理（其实依赖的是底层的hdfs文件系统或s3等对象存储系统），也负责通过 sql来处理和分析数据。所以说，hive只用来处理结构化数据，且只提供了sql的方式来进行分析处理。而且一般来说，hive只能对数据进行批处理。（当使用hive 的hbase映射表时，有一定的实时能力；同时，flink社区也在尝试将hive实时化-这里的实时化指小时级别的实时化，达不到分钟级别）。
Hive metastore 使用达梦数据库存储元数据
05-10
《Hive metastore 使用达梦数据库存储元数据详解》 在大数据处理领域，Hive作为一个分布式数据仓库工具，被广泛用于存储和管理大规模结构化数据。Hive的元数据是其核心组成部分，它包含了表、分区、列等信息，使得...
DBeaver链接hive驱动包下载： hive-jdbc-uber-2.6.5.0-292.jar
05-17
《DBeaver与Hive连接：hive-jdbc-uber-2.6.5.0-292.jar驱动详解》 在大数据处理领域，Hive作为一个基于Hadoop的数据仓库工具，广泛用于数据查询和分析。而DBeaver，作为一款跨平台的数据库管理工具，以其用户友好的...
Ambari下Hive3.0升级到Hive4.0
03-25
在大数据领域，Apache Ambari 是一个用于 Hadoop 集群管理和监控的开源工具，而 Hive 是一个基于 Hadoop 的数据仓库系统，用于处理和分析大规模数据集。本话题聚焦于如何在 Ambari 环境下将 Hive 3.0 升级到 Hive ...
seatunnel 支持hive jdbc
07-28
driver = "org.apache.hive.jdbc.HiveDriver" user = "hive" password = "hive" table = ods_wjw_jb_gxy_hz_glk query = "select a,b,c from ods_wjw_jb_gxy_hz_glk" fetch_size = 300 } }
Hive企业级调优[3]—— Explain 查看执行计划
qq_45115959的博客
09-20 650
EXPLAIN命令呈现的执行计划由一系列 Stage 组成。这些 Stage 之间存在依赖关系，每一个 Stage 可能对应一个 MapReduce Job 或者一个文件系统的操作等。如果某 Stage 对应了一个 MapReduce Job，则该 Job 在 Map 端和 Reduce 端的计算逻辑分别由 Map Operator Tree 和 Reduce Operator Tree 描述。
【Hive】学习路线：架构、运维、Hsql实战、源码分析
最新发布
hiliang521的博客
09-21 1387
【Hive】学习路线：架构、运维、Hsql实战、源码分析
Hive企业级调优[4]——HQL语法优化之分组聚合优化
qq_45115959的博客
09-20 576
所谓 map-side 聚合，就是在 Map 端维护一个哈希表，利用它来完成部分聚合，然后将部分聚合的结果按照分组字段分区，发送至 Reduce 端以完成最终的聚合。这种方法能够有效地减少 Shuffle 的数据量，从而提高分组聚合运算的效率。Map 端负责读取数据，并按分组字段进行分区，通过 Shuffle 将数据发送至 Reduce 端，在 Reduce 端完成最终的聚合运算。2）优化前 未经优化的分组聚合，执行计划如下图所示：（实际图形无法在此文本中展示，请参考执行计划输出结果）
二百六十五、Hive——目前Hive数仓各层表样例
tiantang2renjian的博客
09-19 1187
Hive——目前Hive数仓各层表样例
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值