HiveQL学习笔记（一）：Hive安装及Hadoop,Hive原理简介

最新推荐文章于 2024-06-26 00:47:33 发布
最新推荐文章于 2024-06-26 00:47:33 发布
阅读量767 收藏 5
点赞数 2
分类专栏： Hive 文章标签： 数据仓库 hadoop hive 数据分析 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/AvenueCyy/article/details/106142750
版权
本文介绍了Hive的安装过程，强调了厦大林子雨老师的博客提供的便捷安装方式。同时，对Hadoop进行了简单概述，包括Hadoop的分布式系统特性、生态系统组件以及HDFS和MapReduce的核心概念。此外，还提到了Hive作为数据仓库工具的基本概念、优缺点和架构原理。
摘要由CSDN通过智能技术生成

本系列是本人对Hive的学习进行一个整理，主要包括以下内容：
1.HiveQL学习笔记（一）：Hive安装及Hadoop,Hive原理简介
2.HiveQL学习笔记（二）：Hive基础语法与常用函数
3.HiveQL学习笔记（三）：Hive表连接
4.HiveQL学习笔记（四）：Hive窗口函数
5.HiveQL学习笔记（五）：Hive练习题
接下来对第一个内容进行介绍。说明：本系列主要是Hive的使用，其他Hadoop和Hive的原理仅做简单的描述。

文章参考资料来自：
https://www.bilibili.com/video/BV1L541147tw?p=50
https://www.bilibili.com/video/BV1W4411B7cN?from=search&seid=7987144426054669652

Hive安装

由于Hive在安装前需要安装很多东西，比如虚拟机，Linux系统，Hadoop，MySQL等，这个过程及其繁琐和艰难。由于目的是学习如何使用Hive，而不是搞大数据开发，因此没必要深陷其中。
这里推荐厦大林子雨老师的博客，里面已经安装好了全套的大数据软件，只需要自己安装虚拟机，然后导入即可，非常方便，可以立即展开学习。大数据Linux实验环境虚拟机镜像文件_林子雨

Hadoop原理简介

1.Hadoop是什么

Hadoop是为了解决大数据的存储和计算问题而开发出来的。
在这里插入图片描述
关键词：Hadoop是分布式系统。

2.Hadoop生态系统

在这里插入图片描述
hadoop：分布式系统框架
hive：数据仓库
mahout：算法库
storm：分布式实时计算框架
hbase：分布式实时列式存储数据库

3.Hadoop架构和组件

hadoop1.x和2.x的区别：
在这里插入图片描述
HDFS：分布式文件系统（数据存储）
YARN：资源调度器
MapReduce：分布式计算框架（数据计算 ）

最低0.47元/天 解锁文章
AvenueCyy
关注
专栏目录
hadoop、hive安装
qq_44574193的博客
10-17 1817
hive、hadoop安装
hadoop hive安装
jshuanghua的专栏
04-03 578
本地独立模式，MySQL作为元数据库 1 安装环境准备 1.1 安装JDK，在安装hadoop时候已经安装了，参考http://www.cnblogs.com/liuchangchun/p/4097286.html 1.2 安装hadoop，参考http://www.cnblogs.com/liuchangchun/p/4097286.html 1.3 安装MySQL数据库，参考http:
hadoop-hive安装
yiqian95的博客
12-08 1790
Hadoop 一、课前准备 vmware虚拟机软件*1 centos7虚拟机*3 l 3节点hadoop集群 二、课堂主题 本节课主要讲解大数据的背景，应用于哪些行业，hadoop是什么，hadoop生态圈，hadoop架构，hdfs分布式文件系统，hdfs的体系结构，hadoop常用命令 三、课堂目标 能够说出大数据的背景 了解hadoop是什么 了解hadoop的生态圈及架构 能够说出什么是分布式文件系统 理解hdfs的工作流程 了解mapreduce编程模式 可以使用常用命令操作hadoop
Hadoop 之 Hive安装
03-06 1160
Hadoop 之 Hive安装
hadoop之hive安装
Code First
03-15 515
第一步：mysql已经安装好了第二步下载hive包并tar开第三步：修改环境变量：第四步：修改Hive的配置文件 到hive 配置文件目录中cd /home/hadoop/hive-2.1.1/conf/把初始化的文件 复制一份出来 并且改名cp hive-env.sh.template hive-env.sh cp hive-default.xml.template hive-site.xml ...
HiveQL学习笔记（二）：Hive基础语法与常用函数
AvenueCyy的博客
05-16 764
本系列是本人对Hive的学习进行一个整理，主要包括以下内容： 1. 2. 3. 4. 接下来对第二个内容进行介绍。 Hive是基于Hadoop的数据仓库 HiveSQL与传统SQL对比： 基础语法 1.SELECT…A…FROM…B…WHERE…C… 这里放上SQL语法执行的先后顺序： 7:SELECT 查询列表 1:FROM 表 2:连接类型 JOIN 表2 3:ON 连接条件 4:WHERE 筛选条件 5:GROUP BY 分组 6:HAVING 分组后
HiveQL学习笔记（五）：Hive练习题
AvenueCyy的博客
05-16 859
本系列是本人对Hive的学习进行一个整理，主要包括以下内容： 1. 2. 3. 4. 5. 接下来对第五个内容进行介绍。 HiveSQL学习笔记（二）对应的练习题 这里没有原版的数据，只有字段名，所以只能靠脑补……主要是锻炼思考问题的方法，也可以上网找一些MySQL的题，然后用HiveSQL去完成。 以下问题的答案会陆续更新…… 将user_trade中的时间戳转为以下时间格式 2. HiveSQL学习笔记（三）对应的练习题
HiveQL学习笔记（三）：Hive表连接
AvenueCyy的博客
05-16 842
本系列是本人对Hive的学习进行一个整理，主要包括以下内容： 1. 2. 3. 4. 接下来对第三个内容进行介绍。 表连接 内连接 join 例子： 注： 在写HiveSQL语句时，先对小表进行清洗，可以提升代码的运行速度。 两表关联： 多表关联： 这里第二种写法在数据量较大时，执行的效率最高。 外连接 left join 例子： 没有匹配上的显示为NULL。 这里不用 in / not in，利用left join加where效率会高一些。一般用这种来解决该问题。 多表关联： 全连接
HiveQL学习笔记（四）：Hive窗口函数
AvenueCyy的博客
05-16 566
本系列是本人对Hive的学习进行一个整理，主要包括以下内容： 1. 2. 3. 4. 接下来对第四个内容进行介绍。 窗口函数 1.累计计算窗口函数 1.sum(…)over(…) 1. partition by：分组的作用 2. order by：按照什么顺序进行累加（使用order by 时，数据的范围是一点一点增加的，因此能起到累加的作用） 2.avg(…)over(…) 移动平均: 3.语法总结 2.分区排序窗口函数 1.row_number()、rank()、dense_rank()ov
hadoop下hive的安装
03-29
这里详细介绍了hive的安装，以及和mysql的整合，以及一些其他的一些简单操作
Hadoop之Hive安装
差三岁的博客
09-05 281
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射成一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为mapreduce任务进行运行它的优点是学习成本低，可以通过类sql语句快速实现简单的mapreduce统计 一、目的及要求 目的：*数据仓库工具Hive的安装和配置 *掌握数据仓库工具hive的安装和配置 要求 ...
Hadoop之Hive的安装使用
qq_43222167的博客
07-22 617
简介 hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低，可以通过类似SQL语句实现快速MapReduce统计，使MapReduce变得更加简单，而不必开发专门的MapReduce应用程序。hive是十分适合数据仓库的统计分析和Windows注册表文件 来自:
Hadoop安装hive
bigdatasyr的博客
12-24 731
文章目录前言一、下载二、上传到Hadoop1.上传2.解压3.配置环境变量4.开启集群查看版本5.修改配置文件6.将MySQL的驱动程序弄到hive/lib下7.初始化hive的元数据库 前言 Hadoop安装hive的过程以及遇到的问题加解决办法 一、下载 我是从官网下载的 https://mirror.bit.edu.cn/apache/hive/hive-3.1.2/ 二、上传到Hadoop 1.上传 2.解压 改名 3.配置环境变量 使变量生效 此时查看hive的版本会报错 原因.
「Hive」（一）Hadoop及Hive环境介绍
满眼凄迷i
06-08 1863
本文主要内容 1.Hadoop环境介绍； 2.分布式文件系统[HDFS]的基本组件与四大机制； 3.分布式计算[MapReduce]的策略、理念、体系架构与工作流程； 4.数据仓库工具[Hive]的起源、特点、四种数据模型以及HQL转换MapReduce的原理； 5.数仓分层的好处、通用的数据分层设计以及分层设计示例。...
Hadoop安装Hive
m0_74258479的博客
06-06 912
如果以上步骤都能成功运行，说明 Hive 安装和配置完成，可以开始使用 Hive 进行大数据分析了。确保你的系统已经安装了 Java JDK（推荐使用 JDK 1.8 版本）。如果还没有安装 Hadoop，可以参考以下简要步骤安装 Hadoop。将 Hadoop 目录移动到合适的位置（例如。将 Hive 目录移动到合适的位置（例如。编辑 Hadoop 的配置文件（
HiveQL原理与代码实例讲解
最新发布
AI天才研究院
06-26 614
HiveQL原理与代码实例讲解 1.背景介绍 在大数据时代，数据的存储和处理变得尤为重要。Apache Hive作为一个基于Hadoop的数据仓库工具，提供了一个类似SQL的查询语言——HiveQL，使得用户可以方便地对存储在Hadoop分布式文件系统（HDFS）中的大规模数据进行查询和分析。
Hive的原理—— 深入浅出学Hive
快乐程序员的专栏
08-02 1742
第一部分：Hive原理 为什么要学习Hive的原理 •一条Hive HQL将转换为多少道MR作业 •怎么样加快Hive的执行速度 •编写Hive HQL的时候我们可以做什么 •Hive 怎么将HQL转换为MR作业 •Hive会采用什么样的优化方式 Hive架构&执行流程   Hive执行流程 •编译器将一个Hive QL转换操作符 •操
阿里B2B-ICBU Hive学习笔记：数据仓库与Hadoop详解
Hive学习笔记是阿里巴巴B2B-ICBU数据应用部门针对Hive这一大数据处理框架的详细学习资料。Hive作为基于Hadoop的数据仓库基础设施，为大规模数据的存储、查询和分析提供了便利。它设计了一种类SQL的语言——HiveQL，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值