- 博客(3)
- 收藏
- 关注
RSS订阅原创 Flume构成
实现Interceptor重写4个方法initialize 初始化public Event intercept(Event event) 处理单个Eventpublic List<Event> intercept(List<Event> events) 处理多个Eventclose 方法静态内部类，实现Interceptor.Builder。
2023-04-21 14:08:05
88
2
原创 HDFS设计特点之 利用DMA引擎的零拷贝
DMA的出现就是为了解决批量数据的输入/输出问题。DMA是指外部设备不通过CPU而直接与系统内存交换数据的接口技术。这样数据的传送速度就取决于存储器和外设的工作速度DMA传输将从一个地址空间复制到另外一个地址空间。当CPU初始化这个传输动作，传输动作本身是由DMA控制器来实行和完成。典型例子---移动一个外部内存的区块到芯片内部更快的内存区。DMA传输开始前： CPU------>DMA控制器DMA传输结束后： DMA控制器------>CPU。
2023-04-10 11:59:09
143
原创 HBase
HBase的前身是BigTable，BigTable谷歌的一个分布式存储系统，利用谷歌提出的MapReduce分布式并行计算模型来处理海量数据，使用谷歌分布式文件系统GFS作为底层数据存储，采用Chubby提供协同服务管理，可以扩展到PB级别的数据和上千台机器，具备广泛应用性、可扩展性、高性能和高可用性等特点。HBase的数据同样是用表来组织的，表由行和列组成，列分为若干个列族，行和列的坐 标交叉决定了一个单元格。HBaseMap有很多限定词:稀松的/持久的/排序的/多维的/持久性的。
2023-04-06 13:22:16
228
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人