大数据研发
文章平均质量分 81
mtchy
计算机领域的小菜鸟
展开
-
Kafka源码解析(一)core.kafka.server.KafkaServer
简单讲讲kafka的broker启动相关代码。原创 2017-07-19 15:38:33 · 2044 阅读 · 2 评论 -
HDFS浅谈
最近在做关于HBase的开发,由于HBase是基于HDFS的,所以对这方面进行了学习。下面是总结的思维导图:一、结构hdfs的结构主要分三块:Client,NameNode (NN),DataNode (DN) Client:客户端,系统使用者,调用HDFS API操作文件;与NN交互获取文件元数据;与DN交互进行数据读写。 Nam原创 2016-08-16 15:49:45 · 437 阅读 · 0 评论 -
Flume
Flumeflume是一个分布式日志收集系统。flume的核心是把数据从数据源(source)收集过来,在将收集到的数据送到指定的目的地(sink)。为了保证输送的过程一定成功,在送到目的地(sink)之前,会先缓存数据(channel),待数据真正到达目的地(sink)后,flume再删除自己缓存的数据。 在整个数据的传输的过程中,流动的是event,即事务保证是在event级别进行的。那么什原创 2017-03-22 11:22:18 · 464 阅读 · 0 评论 -
kerberos工作原理
谈谈kerberos。原创 2017-03-08 18:01:38 · 1002 阅读 · 0 评论 -
HbaseAPI
简单讲解HBase的java api原创 2017-03-17 22:28:37 · 1192 阅读 · 0 评论 -
漫画解读HDFS机制
原文http://www.cstor.cn/textdetail_10211.html?ref=myread根据Maneesh Varshney的漫画改编,以简洁易懂的漫画形式讲解HDFS存储机制与运行原理。 一、角色出演 如上图所示,HDFS存储相关角色与功能如下: Client:客户端,系转载 2016-05-09 13:13:23 · 534 阅读 · 0 评论 -
HBase浅谈
简单谈一谈HBase原创 2017-03-16 22:24:31 · 400 阅读 · 0 评论