- 博客(4)
- 收藏
- 关注
RSS订阅原创 Hbase
整体结构和架构 逻辑结构 物理存储结构 数据模型： 1）Name Space 命名空间，类似于关系型数据库的 DatabBase 概念，每个命名空间下有多个表。HBase有两个自带的命名空间，分别是 hbase 和 default，hbase 中存放的是 HBase 内置的表，default 表是用户默认使用的命名空间。 2）Region 类似于关系型数据库的表概念。不同的是，HBase 定义表时只需要声明列族即可，不需 要声明具体的列。这意味着，往 HBase 写入数据时，字段可以动态、按需指定。因此
2021-04-08 10:23:46
129
原创 kafka
kafka总体架构 1）producer:生产消息，给kafka broker发送消息的客户端 2）consumer：消xiaoxi费消息，向kafka broker取消息的客户端 3）consumer group（cg）：消费者组，由多个消费者组成。一个消费者组是逻辑上的一个订阅者，consumer group下订阅的topic下的每个分区只能分配给某个group下的一个consumer(当然该分区还可以被分配给其他group)。 **4) broker：**一台kafka服务器，一个broker可以容
2021-04-07 16:07:59
76
原创 MapReduce框架原理
目录总框架数据输入job提交源码切片机制FileInputFormat切片机制CombineTextInputFormat切片机制FileInputFormat 实现类TextInputFormat(默认实现类)CombineTextInputFormatKeyValueTextInputFormatNLineInputFormat自定义MapTask阶段shuffle机制ReduceTask阶段数据输出 总框架 准备map处理的输入数据 -》mapper处理-》Shuffle-》Reduce处理-》
2021-02-25 18:36:19
100
原创 Hadoop-HDFS（读写）数据流程
这里写自定义目录标题文件写入读文件Namenode 和Secondnamenode2NN机制Fimage和Edits故障处理Datanode副本节点选择(hadoop2.7.2) 文件写入 1）客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。 2）NameNode返回是否可以上传。 3）客户端请求第一个 Block上传到哪几个DataNode服务器上。 4）NameNode返回3个DataNode节点，分别为
2021-02-22 16:58:09
193
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人