【大数据入门核心技术-Hive】（一）Hive简介

已于 2022-12-10 00:31:24 修改
阅读量632 收藏 2
点赞数 2
分类专栏： 大数据技术入门到21天通关 文章标签： hive 大数据 hadoop big data zookeeper
于 2022-12-05 23:27:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/forest_long/article/details/128195190
版权
Hive是一个基于Hadoop的数据仓库工具，提供类SQL查询功能，用于处理和分析存储在HDFS上的结构化数据。它简化了ETL过程，并允许通过MapReduce在yarn上运行分析任务。Hive的优点包括易于使用、元数据共享以及可扩展性，适用于日志分析和大规模离线数据处理等场景。
摘要由CSDN通过智能技术生成

目录

一、Hive是什么？

二、Hive 在 Hadoop 生态系统中的地位

三、Hive的优点及使用场景

一、Hive是什么？

 

        Hive 是基于Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射成一张表，并提供类SQL查询功能。

        Hive在企业中作为一种工作，可以很容易的对数据进行ETL。

        Hive可以对各种各样的数据进行一种结构化的查询。（按照一定结构进行查询）。

        Hive 处理的数据都是存在 HDFS 之上，并且能够与 HBase 进行集成。

        分析数据底层的实现都是 MapReduce ，运行都是运行在 yarn 上边。

官网网址：

Apache Hive

了解本专栏 订阅专栏 解锁全文 超级会员免费看
forest_long
关注
专栏目录
订阅专栏
【大数据入门核心技术-Hive】（十九）Hive的UDF、UDTF、UDAF
12-04 534
*** 自定义 UDF 函数，UDTF全称为User-defined Table Generating Function，该模式的需要继承 GenericUDF 类* 需求: 计算指定字符串的长度*//*** @param arguments 输入参数类型的鉴别器对象* @return 返回值类型的鉴别器对象*/@Override// 判断输入参数的个数= 1) {!!");// 判断输入参数的类型if (!!!");//函数本身返回值为 int，需要返回 int 类型的鉴别器对象/*** 函数的逻辑处理。
大数据技术之Hive
hongjinga的博客
11-13 936
内容丰富 ，从概念到调优， 零基础学Hive ，一篇就够
【大数据入门核心技术-Hive】（三）Hive3.1.2非高可用集群搭建
12-05 698
目录 一、部署规划二、部署版本三、MySQL安装四、单机Hive安装1、下载解压2、配置环境变量3、修改配置hive-env.sh.template4、配置Metastore5、修改配置文件hive-site.xml6、mysql创建root用户密码7、运行Hive--初始化数据库五、测试1、上传数据到hdfs2、hive操作 建表3、导入数据5、hive命令行下查询操作Hadoop3.*高可用集群部署参考：https://blog.csdn.net/forest_long/article/details/
【大数据入门核心技术-Hive】（四）Hive3.1.2高可用集群搭建
12-04 1492
一、部署规划Hadoop3.*高可用集群部署参考：https://blog.csdn.net/forest_long/article/details/128157294二、部署版本三、集群规划hive远程模式 && hiveserver2高可用四、MySQL安装1、下载和解压https://dev.mysql.com/get/Downloads/MySQL-8.0/mysql-8.0.26-linux-glibc2.12-x86_64.tar.xz 2、环境配置 3、创建配置文件 初始化MYSQ
【大数据入门核心技术-Hive】（二）MySQL5.7安装
12-04 700
检查：centos自动maridb（mysql的分支）卸载：yum方式安装mysql .71.下载并安装mysql官方的yum repository2.安装3.安装mysql服务更新mysql gpg-key4.启动mysql，并设为开机自启动5.查看初始化密码，并重设密码6.进入mysql数据库7，移除yum repository，不然每次都会更新
【大数据入门核心技术-Hive】（九）HiveSQL数据查询
12-18 393
1、ORDER BY用于全局排序，就是对指定的所有排序键进行全局排序，使用ORDER BY的查询语句，最后会用一个Reduce Task来完成全局排序。因此，如果distribute by和sort by字段是同一个时，此时，cluster by = distribute by + sort by。4、cluster by(字段) 除了具有Distribute by的功能外，还兼具sort by的排序功能。Distribute By：类似MR中partition，进行分区，结合sort by使用。
【大数据入门核心技术-Hive】（十三）Hive JavaAPI 操作
12-19 256
/hive库地址+库名。//jdbc驱动路径。System.out.println("表" + tableName + "创建成功");System.out.println("删除表" + tableName + "成功");System.out.println("数据库" + dbName + "的所有表");System.out.println("表的内容");
【大数据入门核心技术-Hive】（十四）Hive PythonAPI 操作
12-19 243
（4）Hortonworks的主打产品是Hortonworks Data Platform（HDP），也同样是100%开源的产品，HDP除常见的项目外还包括了Ambari，一款开源的安装和管理系统。（1）2008年成立的Cloudera是最早将Hadoop商用的公司，为合作伙伴提供Hadoop的商用解决方案，主要是包括支持、咨询服务、培训。（3）CDH是Cloudera的Hadoop发行版，完全开源，比Apache Hadoop在兼容性，安全性，稳定性上有所增强。
【大数据入门核心技术-Hive】（十六）hive表加载csv格式数据或者json格式数据
07-31 346
三、hive加载CSV格式数据。
【大数据入门核心技术-Hive】（十一）HiveSQL数据分区
12-18 371
分区是以字段的形式在表结构中存在，通过describe table命令可以查看到字段存在，但是该字段不存放实际的数据内容，仅仅是分区的表示。您可能确实定义了列。--指定动态分区模式，默认为strict，即必须指定至少一个分区为静态分区，nonstrict模式表示允许所有的分区字段都可以使用动态分区。我需要做一个快照表，每天凌晨把所有订单的状态做一个快照，但是数据量比较大，除了按天分区外，我还想根据状态进行分区，此时我们可以将两种分区混合使用。多分区虽然会产生比较多的文件，如果数据量不大的情况下，谨慎使用。
【大数据入门核心技术-Hive】（十七）常用hive shell命令汇总
10-12 207
2、2、set -v 打印所有hadoop和hive配置变量。重置配置到默认hive-site.xml配置。执行linux shell命令。执行hdfs dfs 命令。二、常用实用hive语句。a、先插入初始化测试数据。a、先插入初始化测试数据。set -v 打印所有hadoop和hive配置变量。重置配置到默认hive-site.xml配置。执行linux shell命令。执行hdfs dfs 命令。二、常用实用hive语句。a、先插入初始化测试数据。a、先插入初始化测试数据。
Hive数仓操作（十一）
m0_58076578的博客
10-02 8129
一、Hive 日期函数二、Hive 条件函数三、Hive 空值处理函数四、聚合函数 常用的聚合函数有 MAX、SUM、COUNT、MIN、AVG 以及 GROUP BY 和 HAVING 的用法和 Mysql、Oracle 是一样的。在日常的数据处理工作中，日期和时间的处理是非常常见的操作。Hive 提供了丰富的日期函数，能够帮助我们方便地进行日期和时间的计算。本文将详细介绍 Hive 中常用的日期函数，并通过具体的示例展示其用法和结果。
设置hive本地模式
qq_43494013的博客
10-01 331
设置hive本地模式
Hive数仓操作（十）
m0_58076578的博客
10-02 8647
一、Hive 分页查询 1. 基本用法 2. 基本语法： 3. 示例 4. 注意事项 二、Hive 常用函数 1. 查看和描述系统自带的函数 2.常用字符串函数在大数据处理中，分页查询是非常常见的需求。Hive 提供了LIMIT和OFFSET关键字来方便地进行分页操作。本文将详细介绍它们的用法。
Hive数仓操作（十六）
最新发布
m0_58076578的博客
10-05 4624
Hive的DML语句 一、 插入操作INSERT 一般不会单条或几行插入，使用多表复制即可二、更新操作UPDATE 和删除操作 DELETE 数仓中的数据存在即有意义，一般不会进行更新和删除操作，虽然公司不用但一般都有这些功能，了解即可，反正我没用过 更新和删除操作的条件 表必须为分桶表： 表格需要使用分桶（Bucketing），这可以提高数据的管理和查询效率。 数据存储格式： 表格的数据必须存储为 ORC 格式，而不能是文本格式。ORC 格式支持 ACID 操作的事务特性。 事务支持： 表格必须启用
Hive数仓操作（十四）
m0_58076578的博客
10-04 5593
一、Hive的DDL语句 1. 创建数据库和表 2. 修改表 示例 注意 3. 删除数据库和表 4. 分区和分桶 5. 修改分区 二、Hive的子查询 查询出和10号部门的工作岗位相同的其他部门的员工信息 1. IN 子查询（由于HIVE莫名的不可抗力会经常报错，建议用后两种方法） 2. LEFT SEMI JOIN
Hive数仓操作（六）
m0_58076578的博客
10-01 9503
一、 Hive 分区表 1. 创建分区表 2. 查看分区信息 3. 分区表的创建 示例一：创建分区表并加载数据 示例二：将已有表转化为分区表 二、 Hive 分区操作 三、 Hive脚本化运行Hive 的分区表通过在 HDFS 中以不同的目录存储不同的分区数据，来提高查询性能并减少数据扫描量。分区表可以根据特定的列（如性别列的男女）将数据划分为多个部分，使得查询时只需要扫描相关的分区，而不是整个表，下文讲解一下静态分区表。
基于Hive和Hadoop的用电量分析系统
图南的博客
09-27 943
本项目是一个基于大数据技术的用电量分析系统，旨在为用户提供全面的电力消耗信息和深入的用电量分析。系统采用 Hadoop 平台进行大规模数据存储和处理，利用 MapReduce 进行数据分析和处理，通过 Sqoop 实现数据的导入导出，以 Spark 为核心进行高效的数据处理。整个系统结合了大数据处理技术，为用户提供准确的用电量数据和深入的用电行为分析，帮助用户更好地了解电力使用趋势和优化能源管理。
大数据开发入门：Spark与Hive实战教程
本教程旨在引导初学者进入大数据开发的世界，特别是通过Spar和Hive的入门。大数据开发不仅关注数据的存储，更侧重于处理和分析海量数据，以提取有价值的信息和洞见。以下是课程的核心内容： 1. 大数据概述： - ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

forest_long

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值