![](https://img-blog.csdnimg.cn/20190927151117521.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
数仓技术Hive入门
文章平均质量分 88
搭建Hive平台、Hive基本操作、Hive函数……
howard2005
国家三级笔译。一手代码一手诗,酸甜苦辣寸心知。杏坛泊梦千秋事,万古云山日迟迟。讲授高等数学、Java高级程序设计、动态网站设计与开发(JSP、Servlet)、企业信息系统设计与开发(Spring Boot)、智能移动终端应用开发(Android)、Python Web开发(Django)、大数据离线分析(Hadoop、Hive、Spark)、计算机专业英语等课程,教学深入浅出,语言生动、经验丰富,深受学生好评。指导学生参加移动应用开发省赛和国赛,多次获奖,被授予优秀指导教师称号。热爱翻译,曾翻译西奥尼·帕帕斯数学科普读物《天天数学》与两千余首诗词,已形成独特的译诗风格。
展开
-
Hive分区表实战 - 多分区字段
本实战演练通过创建分区表`university`,并按省市划分加载本地学校数据文件至Hive,展示了大数据环境下高效的数据管理与查询方法。利用分区技术优化存储与查询性能,并通过SQL验证数据加载正确性及查看分区信息,实现了对大规模教育数据的组织和分析。原创 2024-01-11 18:25:32 · 1573 阅读 · 0 评论 -
Hive分区表实战 - 单分区字段
本实战演练全面展示了如何在Hive中创建和管理分区表,通过实际操作演示了数据按国别分区存储、加载与查询的全过程。从创建`book`表开始,依次完成了数据文件准备、分区数据加载、分区查看及更新元数据等任务,并进一步演示了分区的增删改查操作,最后通过MySQL查看Hive Metastore中记录的分区元数据信息,充分体现了Hive分区表在提升查询效率与简化数据管理方面的优势。原创 2024-01-10 10:42:27 · 1115 阅读 · 0 评论 -
Hive实战:分科汇总求月考平均分
本次实战运用Hive处理学生月考成绩数据,通过创建分区表、加载各科目成绩至对应分区,并使用SQL语句计算平均分,展示了Hive在大数据管理、分析查询及统计计算上的灵活性与便捷性。原创 2024-01-05 17:51:52 · 1667 阅读 · 0 评论 -
Hive实战:网址去重
本实战通过Hive对三个文本文件中的IP地址数据进行整合去重。首先在虚拟机创建并上传文本至HDFS,接着启动Hive服务与客户端,创建外部表加载数据,并用DISTINCT从原始表中提取不重复IP至新内部表,最终成功实现去重目标,展示了Hive处理大规模文本数据的高效能与便捷性。原创 2024-01-04 06:39:34 · 1203 阅读 · 0 评论 -
Hive实战:学生信息排序
本次实战利用Hive处理HDFS中学生信息数据,通过创建外部表、执行SQL查询及排序操作,展示了Hive对结构化大数据的高效处理能力,包括按年龄降序和性别升序复合排序。该过程旨在深入教学Hive在数据建模、查询与分析中的应用价值。原创 2024-01-03 18:43:10 · 959 阅读 · 0 评论 -
Hive讲课笔记:内部表与外部表
Apache Hive作为大数据处理的重要工具,其内部表与外部表是两种核心的数据存储和管理机制。内部表由Hive全权管理,数据存储在HDFS特定目录下,删除时会连同元数据及HDFS数据一同删除;创建过程包括定义表结构、插入数据等步骤,并且完全依赖于Hive系统。原创 2023-12-28 11:50:07 · 1380 阅读 · 0 评论 -
Hive实战:统计总分与平均分
在这次实战中,我们将深入探索Hive在大数据处理和分析中的应用。面对包含多个科目成绩的学生数据表,我们的目标是利用Hive框架计算每个学生的总分和平均分。通过实际操作,你将了解如何在虚拟机上准备数据文件,将其上传到HDFS,以及如何在Hive中创建表、加载数据和执行SQL查询。这个过程将展示Hive的强大功能和便捷性,同时也将提升你对大数据处理和分析的实际技能。让我们一起步入Hive的世界,发掘数据背后的深层信息。原创 2023-12-27 21:30:38 · 2128 阅读 · 0 评论 -
Hive实战:词频统计
本次实战聚焦于利用Hive在大数据环境下进行词频统计。我们首先在master虚拟机创建文本文件`test.txt`,并将其上传至HDFS作为数据源。接着,启动Hive Metastore服务和客户端,创建外部表`t_word`以读取和处理HDFS中的文本数据。通过精心编写的Hive SQL语句,我们运用`explode`和`split`函数拆分句子,子查询进行单词计数和分组,实现了词频统计。这个过程展示了Hive在文本数据分析处理中的强大功能,同时我们也积累了关于Hive使用细节的经验,为未来的数据处理工作原创 2023-12-26 13:53:58 · 1644 阅读 · 0 评论 -
Hive数据库与表操作
hive数据库与表操作原创 2023-11-28 11:26:15 · 707 阅读 · 0 评论 -
Hive安装配置 - 本地模式
在Hadoop分布式集群上安装配置本地模式的Hive原创 2023-11-20 20:07:02 · 1048 阅读 · 0 评论 -
Hive安装配置 - 内嵌模式
安装配置内嵌模式Hive原创 2023-10-19 18:07:08 · 560 阅读 · 0 评论 -
2.1 初探大数据
1. 了解大数据的定义;2. 理解大数据的特征;3. 理解研究大数据的意义原创 2023-10-16 17:30:17 · 1194 阅读 · 1 评论 -
1.1 安装配置CentOS
1. 能安装VMware WorkStation;2. 能正确安装CentOS 7;3. 能熟练配置CentOS 7;4. 能使用FinalShell连接虚拟机原创 2023-09-19 11:58:05 · 794 阅读 · 0 评论 -
1.1 在实训云上安装配置虚拟机
搭建虚拟机原创 2023-09-05 09:57:08 · 929 阅读 · 0 评论