Hive学习笔记

Hive：Facebook的开源数据仓库解决方案
最新推荐文章于 2025-10-15 20:08:11 发布
原创 最新推荐文章于 2025-10-15 20:08:11 发布 · 141 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hive #学习 #大数据

1、背景介绍

  •  什么是Hive？

Hive是一个有FaceBook推出的开源的数据仓库，将结构化的数据文件映射为一张表，且提供SQL查询。

  • 数据仓库和数据库的区别

        数据库（OLTP）

        操作型处理，日常事务处理，通常对少数记录进行增删改查与查询等等

（1）存储业务数据

（2）实时业务数据处理

        数据仓（OLAP）

        分析型处理，复杂进行的分析操作，一般针对某些主题历史数据进行分析，支持管理决策，提供直观易懂的查询结果

（1）存储历史数据

（2）离线数据分析

 

黑马-hive学习笔记(1)
dsb1106421x的博客
10-14 924
主要的服务：（1）NameNode(主)：是HDFS中的主服务器，负责管理HDFS的元数据，包括文件目录树的维护，以及文件和数据块之间的映射关系。在Yarn的web界面中，一般可以查看到集群中运行的、已完成的、失败的和挂起的应用程序（Application）信息，以及每个NodeManager节点的状态，以及集群的详细的资源使用情况。在这个界面中，包含了HDFS集群的总体状态，比如文件系统的目录树、存储速率、存储占用和空闲情况等，还能看到各个DataNode的状态和健康状况，以及它们所存储的数据块信息。
hive学习笔记
06-25
自己在学习hive中做的笔记，适合于想要快速了解hive的朋友
【Hive】学习笔记
weixin_44823875的博客
08-08 1343
Hive：由Facebook开源用于解决海量结构化日志的数据统计。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。本质是：将HQL转化成MapReduce程序（1）Hive处理的数据存储在HDFS（2）Hive分析数据底层的实现是MapReduce（3）执行程序运行在Yarn上（1）创建一个数据库，数据库在HDFS上的默认存储路径是/opt/hive/warehouse/*.db。
Hive 学习笔记
热门推荐
Gettler的博客
10-01 2万+
Hive是构建在HDFS上的一个数据仓库。
【Hive学习笔记】
打瞌睡_的博客
06-14 1704
文章目录1.基础知识1.1概念1.2架构原理1.3Hive和数据库比较2.基本操作2.1常用交互命令2.2其他命令操作3.数据类型3.1基本数据类型3.2集合数据类型4.DDL数据定义4.1CRUD操作4.2表4.2.1建表4.2.2表的分类5.DML数据操作6.查询7.其他 1.基础知识 1.1概念 Hive：由Facebook开源用于解决海量结构化日志的数据统计。 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 本质是：将HQL转化成MapRe
hive学习笔记之十一：UDTF
2401_84412653的博客
04-18 2477
其中囊括了JVM、锁、并发、Java反射、Spring原理、微服务、Zookeeper、数据库、数据结构等大量知识点。
hive 学习笔记
猎隼
02-05 1992
一、官网和文档地址 Hive 官网地址 hive官网 文档查看地址 文档地址 二、Hive 常用交互命令 （1）“-e”不进入hive的交互窗口执行sql语句 bin/hive -e "select id from student;" （2）-f”执行脚本中sql语句 bin/hive -f /opt/module/hive/datas/hivef.sql （3）退出hive窗口 hive(default)>exit; hive(default)&...
hive学习笔记精华版
10-08
【Hive学习笔记精华版】 Hive是大数据处理领域中的一款重要工具，它基于Hadoop构建，主要用于数据仓库和数据分析。作为一个离线处理系统，Hive可以将结构化的数据文件映射成数据库表，允许用户使用类似SQL的查询...
spark on hive 还是 hive on spark?
二进制专栏
10-11 271
我们都知道，hive默认的计算引擎是mr,但是mr计算依赖于磁盘，导致计算非常缓慢，开启本地模式会稍微快一点，但是治标不治本，于是有些公司就将计算引擎切换成tez或者spark。spark作为目前主流的离线计算引擎，非常的方便，所以很多企业都想直接将计算引擎换成spark，但目前hive和spark结合有两种方式Spark On Hive ，还有一种Hive On Spark，到底应该怎么选择呢？
JavaWeb流式传输速查宝典
a503244552的博客
10-14 741
《JavaWeb流式传输速查指南》摘要（150字） 本文系统梳理了JavaWeb流式传输的核心要点：1）浏览器与服务器间双向数据传输的4种流类型（字节/字符输入输出流）及对应Servlet方法；2）常用I/O基类方法对比表，涵盖InputStream/OutputStream和Reader/Writer体系；3）典型Web场景的流组合方案，如文件上传使用getInputStream()，JSON响应使用getWriter()；4）关键实现机制：通过InputStreamReader/OutputStream
Java全栈学习笔记39
clp01263756的博客
10-10 487
System.out.println("ServletContext中移除内容:"+scae.getName()+":"+scae.getValue());System.out.println("ServletContext中替换内容:"+scae.getName()+":"+scae.getValue());System.out.println("请求域中存储数据:"+srae.getName()+":"+srae.getValue());System.out.println("session创建");
hive的一些优化配置
weixin_62206215的博客
10-11 852
以上三种参数设置方式优先级如下：会话参数设置>命令行参数设置>配置文件设置。
Hive 知识点梳理
DAurora的博客
10-11 1050
本文系统介绍了HSQL优化和数据倾斜处理的解决方案。HSQL优化从减少IO、关联优化和执行优化三方面展开，包括列裁剪、分区裁剪、大小表关联策略、并行执行等方法。数据倾斜部分分析了key分布不均、业务特性、SQL语句等原因，并针对group by、count distinct、join等场景提出具体解决方案，如两阶段聚合、map join转换、空值处理等。最后对比了Hive内部表和外部表的区别，包括存储位置、数据管理方式等核心差异。全文提供了大量实用SQL示例和参数
CMP （类ClouderaCDP7.3（404次编译） ）华为鲲鹏Aarch64（ARM）信创环境 查询2100w行 hive 查询策略
yumgpkpm的专栏
10-15 736
在 Hive 中，对于一个 2100 万行（21M）的聚合表，如果需要对 datetime 类型的非分区键字段进行 >= 和 <= 的范围查询，性能会显著依赖于数据组织方式和查询优化配置。CMP大数据平台（类Cloudera CDP7.3华为鲲鹏CPU）聚合表模型，表体量在 2100w 行，现在有个 datetime 类型的非 key 字段使用了≥和≤查询，使用hive查询策略。"orc.row.index.stride" = "10000" -- 行组索引间隔，利于谓词下推。
Hive SQL：where 与 having（城市分组，年龄筛选）
全局可见
10-11 408
WHERE作用：分组前，过滤原始表的行记录（筛掉不需要的数据，减少分组压力 ）。HAVING作用：分组后，过滤分组的结果（只能用分组字段、聚合函数 ）。
JavaWeb——ServletConfig
m0_72803313的博客
10-11 416
是 Servlet 规范中定义的一个接口，它的对象，并传递给该 Servlet 的方法。它代表了一个的配置信息。每个 Servlet 都有自己独有的对象。
推荐系统学习笔记（十八）SECR-快手-用户留存建模
最新发布
weixin_44880995的博客
10-15 754
快手团队提出分层专家克隆（SEC）方法，通过模仿学习复制高留存用户行为，优化推荐系统的长期用户保留。该方法将高留存用户分层训练专家策略，动态匹配用户状态，并引入动作熵正则化提升推荐多样性。实验表明，SEC在快手平台显著提升用户留存和兴趣多样性，日均活跃用户增加20万以上。该方法适用于大规模推荐系统，但对高留存用户数据依赖较强，冷启动场景存在挑战。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值