读模式与写模式


RDBMS是写模式

Hive是读模式


我们传统的关系型数据库RDBMS是写模式。在RDBMS里,我们对表进行数据操作时候,RDBMS会用数据库的第一第二第三范式去检查数据的规范性,如果不符合规范,数据库就拒绝数据的加载和操作。这个验证过程消耗资源,在数据量大的时候,会影响效率。因为日常的关系型数据库处理的数据不是很多,效率慢点没关系。

大数据在对数据的加载的时候不进行校验,如果校验将降低效率,导致消息阻塞,影响数据库的读取效率。

关系型数据库RDBMS主要处理的是结构化的数据,对数据源本身就有很好的规范,加载结构化有规范的数据时候,可以进行校验。而hadoop等的大数据平台保存的数据源有些是结构化的,有些不是结构化的,无规律的,没联系的数据。无法进行校验,检测。如果检测,将导致大量不符合第一第二第三范式的数据不能保存。

所以,hive这种读的模式,加载数据很快,减少延迟。而在数据具体使用的时候,再去处理,极高地提高了效率。如果补数据不符合建表规范,比如:表字段是int类型,而导入的是string类型,则hive会保存为null。

hive不支持对行的操作,只支持对数据的覆盖和追加操作。


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

松门一枝花

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值