![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
山海王子
这个作者很懒,什么都没留下…
展开
-
HBase不同版本中对WAL日志的处理
我们知道,HBase在处理写流程(put操作)时,RegionServer会先将数据Append到WAL日志中,在写入MemStore,这时就返回客户端通知成功了。但是,在不同的版本中(HBase 1.6和Hbase 2.x),处理WAL的具体逻辑有很大区别。因此,网络中不同的文章可能会让读者感到迷惑,我们不妨从源码中一探究竟。HBase 2.3.2的流程:1、对要操作的数据添加行锁(List(RowKey)),并添加读锁(这个锁是HRegion类里的可重入读写锁)2、对数据更新timestamp字段原创 2020-11-03 21:29:49 · 576 阅读 · 0 评论 -
一文彻底了解Hive
基本概念Hive是基于hadoop的一个数据仓库工具,是一种编程接口,处理结构化数据,将结构化的数据文件映射成表,并提供类SQL查询功能。本质:将HQL转化为MR程序。优缺点:优点:采用类SQL语法,易上手;避免写MR程序,减少学习成本;吞吐量大;支持用户自定义函数缺点:表达能力有限(受限于MR编程模型);调优困难,粒度较粗Hive架构原理Hive安装及配置Hive的安装很简单,解压安装包即可。Hive需要修改的配置:hive-env.sh文件export HADOOP_HOME=原创 2020-08-10 00:39:20 · 594 阅读 · 0 评论