hive——基础知识

1.专有名词
MapReduce:
MapReduce是一种计算模型,该模型可将大型数据处理任务分解成很多个单个的、可以在服务器集群中并行执行的任务。这些任务的计算结果可以合并在一起来计算最终的结果。
1)MapReduce是面向大数据并行处理的计算模型、框架和平台。
2)MapReduce是一个并行计算与运行软件框架(Software Framework)
3)MapReduce是一个并行程序设计模型与方法(Programming Model & Methodology)
hive sql:
查询储存在Hadoop集群中的数据
缺点:
1)hive不只是记录级别的更新、插入或者删除操作。
2)hive查询延时比较严重。
3)hive不支持事务。
OLTP与OLAP
1)OLTP(on-line transaction processing)
OLTP是传统的关系型数据库的主要应用,主要是基本的、日常的事务处理,例如银行交易,资金从A帐户转帐到B帐户,这整个过程就是一次交易事务。如果过程中有任何系统错误,交易会回滚A帐户中的金额都回恢到操作前的状态,这就是OLTP的操作。在OLTP场景中用户并发操作量会很大,要求系统实时进行数据操作的响应,在查询时往往也是只会检索一条或几条明确的目标数据,以实现用户的业务交互。数据量少,DML频繁。
2)OLAP(On-Line Analytical Processing)
OLAP是数据仓库系统的主要应用,支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果。如我们的业务系统中每天都需要出销售日报,这个操作需要对当天所有数据进行汇总,并需要进行计算,以得到全天收入、产品销售排名、分时段的销售量,甚至与过去30天及去年当天进行对比,这样的操作都属于OLAP。数据量大,DML少。
二者区别:
在这里插入图片描述
2.数仓基础
数据集市
数据集市是数据仓库的一种简单形式,通常由组织内的业务部门自己建立和控制。一个数据集市面向单一主题域,如销售、财务、市场等。数据集市的数据源可以是操作型系统(独立数据集市),也可以是企业级数据仓库(从属数据集市)。

参考资料:
hive知识点:https://blog.csdn.net/pursuer211/article/details/83037987
数仓知识点:https://blog.csdn.net/yolohohohoho/article/details/90671363

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值