原理
weixin_43203897
这个作者很懒,什么都没留下…
展开
-
Hbase读写流程
1.1 Hbase的写流程Clint写入->Hlog->存入memtore,一直到memstore满(128m)->flush成一个storefile->当storefile数量增长到一定阈值->发出compact合并操作->多个storefile合并成一个storefile同时进行版本的合并和删除操作->当storeflie COMPACT后逐步形成...转载 2019-03-05 22:03:04 · 138 阅读 · 0 评论 -
HBase各个组件的作用/相关知识点/HLog(WAL log)说明
HBase各个组件的作用:1. Client:包含访问Hbase的接口,并维护cache来加快对Hbase的访问,比如region的位置信息。2. HMaster:是hbase集群的主节点,可以配置多个,用来实现HA为RegionServer分配region负责RegionServer的负载均衡发现失效的RegionServer并重新分配其上的region3. RegionServ...转载 2019-03-05 22:08:44 · 2915 阅读 · 0 评论 -
日志采集框架Flume的几种常见模式
1.1 概述 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 Flume可以采集文件,socket数据包等各种形式源数据,又可以将采集到的数据输出到HDFS、hbase、hive、kafka等众多外部存储系统中 一般的采集需求,通过对flume的简单配置即可实现 Flume针对特殊场景也具备良好的自定义扩展能力,因此,flume可以适用于大部分的日常数据...原创 2019-03-05 22:22:21 · 1214 阅读 · 0 评论 -
RedHat Linux 6---RAID独立磁盘阵列
RAID原理1.磁盘阵列作为独立系统在主机外直连或通过网络与主机相连。磁盘阵列有多个端口可以被不同主机或不同端口连接。一个主机连接阵列的不同端口可提升传输速度。2.和当时PC用单磁盘内部集成缓存一样,在磁盘阵列内部为加快与主机交互速度,都带有一定量的缓冲存储器。主机与磁盘阵列的缓存交互,缓存与具体的磁盘交互数据。3.在应用中,有部分常用的数据是需要经常读取的,磁盘阵列根据内部的算法,查找出这...原创 2019-04-22 11:24:05 · 340 阅读 · 0 评论