学习笔记(03):Hive大数据离线应用开发-Hive的基本概念

研发管理 专栏收录该内容
4 篇文章 0 订阅

立即学习:https://edu.csdn.net/course/play/24743/282495?utm_source=blogtoedu

hive其实就是一个数据仓库,大数据领域用于数据分析的引擎

HDFS(数据存放)

MapReduce(计算方式)

hive提供类SQL实现机制HSQ

hive-基于Hadoop的开源数据仓库工具,用于存储和处理海量结构化数据,通过表的方式管理数据;而实际上这些数据室分布式的存储在HDFS上的。

hive的数据处理:通过HQL完成,转换成MapReduce任务

hive其实就是一个壳(工具)

hive:可扩展性、延展性、容错性

 

  • 0
    点赞
  • 0
    评论
  • 0
    收藏
  • 打赏
    打赏
  • 扫一扫,分享海报

<span style="color:#333333;">一、项目简介 </span><br /><span style="color:#333333;">本项目教程以国内电商巨头实际业务应用场景为依托,同时以阿里ECS服务器为技术支持,紧跟大数据主流场景,对接企业实际需求,对电商数仓的常见实战指标进行了详尽讲解,让你迅速成长,获取最前沿的技术经验。 </span><br /><br /><span style="color:#333333;">二、项目架构 </span><br /><span style="color:#333333;">版本框架:Flume、DateHub、DataWorks、MaxCompute、MySql以及QuickBI等; </span><br /><span style="color:#333333;">Flume:大数据领域被广泛运用的日志采集框架; </span><br /><span style="color:#333333;">DateHub:类似于传统大数据解决方案中Kafka的角色,提供了一个数据队列功能。对于离线计算,DataHub除了供了一个缓冲的队列作用。同时由于DataHub提供了各种与其他阿里上下游产品的对接功能,所以DataHub又扮演了一个数据的分发枢纽工作; </span><br /><span style="color:#333333;">据上传和下载通道,提供SQL及MapReduce等多种计算分析服务,同时还提供完善的安全解决方案; </span><br /><span style="color:#333333;">DataWorks:是基于MaxCompute计算引擎,从工作室、车间到工具集都齐备的一站式大数据工厂,它能帮助你快速完成数据集成、开发、治理、服务、质量、安全等全套数据研发工作; </span><br /><span style="color:#333333;">QuickBI & DataV:专为上用户量身打造的新一代智能BI服务平台。 </span><br /><br /><span style="color:#333333;">三、项目场景 </span><br /><span style="color:#333333;">数仓项目广泛应用大数据领域,该项目技术可以高度适配电商、金融、医疗、在线教育、传媒、电信、交通等各领域; </span><br /><br /><span style="color:#333333;">四、项目特色 </span><br /><span style="color:#333333;">本课程结合国内多家企业实际项目经验。从集群规模的确定到框架版本选型以及服务器选型,手把手教你从零开始搭建基于阿里服务器的大数据集群。采用阿里ECS服务器作为数据平台,搭建高可用的、高可靠的Flume数据采集通道,运用阿里DateHub构建中间缓冲队列并担任数据分发枢纽将数据推送至阿里自主研发的DataWorks对数据进行分层处理,采用MaxCompute作为处理海量数据的方案,将计算结果保存至MySQL并结合阿里的QuickBI工作做最终数据展示。</span>
参与评论 您还未登录,请先 登录 后发表或查看评论
©️2022 CSDN 皮肤主题:深蓝海洋 设计师:CSDN官方博客 返回首页

打赏作者

qq_32439397

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值