学习笔记(03):Hive大数据离线应用开发-Hive的基本概念

最新推荐文章于 2024-08-29 14:41:03 发布
最新推荐文章于 2024-08-29 14:41:03 发布
阅读量142 收藏
点赞数
分类专栏： 研发管理 文章标签： 大数据 云计算/大数据 Hadoop 生态圈 技术
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32439397/article/details/106538172
版权

立即学习:https://edu.csdn.net/course/play/24743/282495?utm_source=blogtoedu

hive其实就是一个数据仓库，大数据领域用于数据分析的引擎

HDFS（数据存放）

MapReduce（计算方式）

hive提供类SQL实现机制HSQ

hive-基于Hadoop的开源数据仓库工具，用于存储和处理海量结构化数据，通过表的方式管理数据；而实际上这些数据室分布式的存储在HDFS上的。

hive的数据处理：通过HQL完成，转换成MapReduce任务

hive其实就是一个壳（工具）

hive：可扩展性、延展性、容错性

 

qq_32439397
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据学习笔记32：Hive - 下载、安装与配置
howard2005的专栏
01-29 738
文章目录一、初步了解Hive1、Hadoop开发存在的问题2、OLTP系统与OLAP系统（1）OLTP - 在线联机事务处理系统（2）OLAP - 在线联机分析处理系统3、Hive概述（1）Hive的SQL - HQL（2）数据库与数据仓库的区别（3）Hive适用场景二、下载、安装和配置MySQL1、下载mysql-5.7.12-1.el6.x86_64.rpm-bundle.tar2、将MySQ...
离线数仓-Hive介绍
一只破碗
02-17 1124
1.简介 Hive是基于Hadoop的一个开源数据仓库工具，将海量结构化数据文件映射为一张表，并在其上提供类SQL（HQL）查询功能。Hive本质是将HQL转化成MapReduce，以处理存储在HDFS上的数据。 优点 避免写MapReduce，减少学习成本。提供HQL操作接口，易上手。 适合处理大数据，处理小数据意义不大。 支持自定义函数处理数据。 缺点 HQL表达能力有限。 执行效率低。...
大数据开发之离线数仓项目（用户行为采集平台）（可面试使用）
key_honghao的博客
01-31 2463
按照规划，需要采集的用户行为日志文件分布在102，103两台日志服务器，故需要在102，103两台节点配置日志采集flume。日志采集flume需要采集日志文件内容，并对日志格式（JSON）进行校验，然后将校验通过的日志发送到kafka。此处可选择taildirsource和kafkachannel，并配置日志校验拦截器。选择taildirsource和kafkachannel的原因如下：taildirsource相比execsource、spoolingdirectorysource的优势。
离线大数据开发实战（读书笔记）-- 第三章 Hive原理实践
GONEW33的博客
03-03 1574
Hive是SQL的抽象，高延迟。由Facebook研发 Hive基本架构 Hive通过CLI/JDBC/ODBC或者HWI接受相关的HiveSQL查询，并通过Driver组件进行编译，分析优化最后变成可执行的MapReduce。Hive主要组件执行过程如下： Hive SQL关键概念 内部表（managed table）：Hive管理的表，包含实际的物理意义。删除数据也没了。 CREATE TABLE mu_managed_table（coll STRING）； LOAD DATA INPATH’/us
【从0开始离线数仓项目】——新能源汽车数仓项目介绍
热门推荐
lingxw的博客
07-07 1万+
数据仓库（Data Warehouse）是为企业提供数据支持，用以协助企业制定决策、改进业务流程和提高产品质量等方面的工具。它可以接收多种类型的输入数据，如业务数据、日志数据和爬虫数据等。然而，在本项目中，我们只对日志数据进行统计和分析。
基于阿里云的海量数据处理数据仓库（离线）实战教程
11-01
一、项目简介 本项目教程以国内电商巨头实际业务应用场景为依托，同时以阿里云ECS服务器为技术支持，紧跟大数据主流场景，对接企业实际需求，对电商数仓的常见实战指标进行了详尽讲解，让你迅速成长，获取最前沿的技术经验。 二、项目架构 版本框架：Flume、DateHub、DataWorks、MaxCompute、MySql以及QuickBI等； Flume：大数据领域被广泛运用的日志采集框架； DateHub：类似于传统大数据解决方案中Kafka的角色，提供了一个数据队列功能。对于离线计算，DataHub除了供了一个缓冲的队列作用。同时由于DataHub提供了各种与其他阿里云上下游产品的对接功能，所以DataHub又扮演了一个数据的分发枢纽工作； 据上传和下载通道，提供SQL及MapReduce等多种计算分析服务，同时还提供完善的安全解决方案； DataWorks：是基于MaxCompute计算引擎，从工作室、车间到工具集都齐备的一站式大数据工厂，它能帮助你快速完成数据集成、开发、治理、服务、质量、安全等全套数据研发工作； QuickBI & DataV：专为云上用户量身打造的新一代智能BI服务平台。 三、项目场景 数仓项目广泛应用于大数据领域，该项目技术可以高度适配电商、金融、医疗、在线教育、传媒、电信、交通等各领域； 四、项目特色 本课程结合国内多家企业实际项目经验。从集群规模的确定到框架版本选型以及服务器选型，手把手教你从零开始搭建基于阿里云服务器的大数据集群。采用阿里云ECS服务器作为数据平台，搭建高可用的、高可靠的Flume数据采集通道，运用阿里云DateHub构建中间缓冲队列并担任数据分发枢纽将数据推送至阿里自主研发的DataWorks对数据进行分层处理，采用MaxCompute作为处理海量数据的方案，将计算结果保存至MySQL并结合阿里的QuickBI工作做最终数据展示。
2021年-Hive大数据仓库-期末考试知识点重点-笔记整理.pdf
10-11
Hive大数据仓库知识点 Hive是一种基于Hadoop的大数据仓库工具，可以将结构化的数据文件映射为一个表，并提供类SQL查询功能。Hive的优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计。延迟较高，...
大数据学习笔记一：大数据的发展历程--MapReduce，Hive，Yarn，Hadoop，Spark，Flink
个人博客
12-05 981
大数据学习系列文章：大数据-博客专栏 今天在学习极客时间专栏：《从0开始学大数据》 从预习 01 | 大数据技术发展史：大数据的前世今生到预习 03 | 大数据应用领域：数据驱动一切，系统的介绍了大数据的发展历史，之前我对这些只是一知半解。 今天我们常说的大数据技术，其实起源于 Google 在 2004 年前后发表的三篇论文，也就是我们经常听到的“三驾马车”，分别是分布式文件系统 GFS、大...
《离线和实时大数据开发实战》（五）Hive 优化实践_大数据hive离线计算开发实战
2401_84185951的博客
04-28 1004
但正如上述所言，现实世界的二八准则将导致订单集中在部分供应商上，而好的供应商的评级通常会更高，此时更加剧了数据倾斜的程度。如果不加以优化，上述 SQL 将会耗费很长时间，甚至运行不出结果！通常来说，供应商是有限的，比如上千家、上万家，数据量不会很大，而销售明细事实表比较大，这就是典型的大表 join 小表问题，可以通过 mapjoin 的方式来优化，只需添加即，如果需要 mapjoin 多个表，则格式为。
《离线和实时大数据开发实战》（四）Hive 原理实践_hive为什么不能实时落
2401_84184729的博客
04-27 642
在 map-side 的关联中，两个表根据相同的宇段进行分桶，因此处理左边表的 bucket 时，可以直接从外表对应的 bucket 中提取数据进行关联操作。Hive 将表划分为分区（partition)，partition 根据分区字段进行。需要注意的是， Hive 并不会对数据是否满足表定义中的分桶进行校验，只有在查询时出现异常才会报错。分桶时， Hive 根据字段哈希后取余数来决定数据应该放在哪个桶，因此每个桶都是整体数据的随机抽样。如果根据时间来分区，那么同一天的数据将被划分到同一个分区中。
离线数仓项目, 数仓理论(概要, 建模方法, 数仓分层, 模型介绍,元数据), 数仓设计(需求分析, 数据埋点, 指标体系, 架构设计(方案选型,逻辑架构, 物理环境, 命名规范))
张伟的专栏
06-04 3347
离线数仓项目, 数仓理论(概要, 建模方法, 数仓分层, 模型介绍,元数据), 数仓设计(需求分析, 数据埋点, 指标体系, 架构设计(方案选型,逻辑架构, 物理环境, 命名规范
大数据项目离线数仓（全 ）一（数据采集平台）
qq_55906442的博客
05-24 4675
一、用户行为数据采集平台 二、业务数据采集平台 三、数据仓库系统 四、可视化报表
大数据学习-离线数仓项目实战笔记（上）
weixin_43320999的博客
12-23 2467
1. 前置 1.1. 软件版本 产品 版本 Hadoop 2.9.2 Hive 2.3.7 Flume 1.9 DataX 3.0 Airflow 1.10 Atlas 1.2.0 Griffin 0.4.0 Impala impala-2.3.0-cdh5.5.0 MySQL 5.7 1.2. 软件安装分布情况 服务器 linux121 linux122 linux123 Hadoop √ namenode √ √ seconderyna
带你了解大数据数仓架构与项目部署环境
05-04 4567
千亿级数仓项目 # 总体介绍 阶段一 了解行业背景、了解项目背景，项目架构介绍、技术选型，项目环境（数据/硬件）介绍，项目ER图、项目需求介绍。 基于项目需求实现查询功能（写SQL）或整理出查询流程 阶段二 学习、掌握kettle的使用、使用kettle将项目需求所需的数据在MYsql同步到Hive 使用sqoop,将剩余的数据在MYsql同步到Hive 阶段三 学习数据仓库理论知...
大数据离线分析工具Hive简单介绍
互联网老辛
05-20 6086
Hive是Facebook为了解决海量日志数据的分析而开发的，后来开源给了Apache软件基金会，可见Apache软件基金会是个神奇的组织，我们之前学过的很多开源工具都有Apache软件基金会的身影。 官网定义： The Apache Hive ™ data warehouse software facilitates reading, writing, and managing large ...
软考攻略/超详细/系统集成项目管理工程师/基础知识分享06
最新发布
weixin_46095822的博客
08-29 1271
软考攻略/超详细/系统集成项目管理工程师/基础知识分享06
大数据技术概述
weixin_51591328的博客
08-28 2092
知识点 其他
Hive数据仓库工具详解：Facebook开源的大数据统计解决方案
这篇学习笔记详细介绍了Hive的基本概念、本质、优缺点以及架构原理。 1. **Hive基本概念** - Hive是由Facebook开源的，最初设计的目标是解决海量结构化日志的数据统计问题。它提供了将结构化的数据文件映射为...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值