- 博客(7)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 kafka的高性能机制
一、磁盘写数据顺序写 kafka往磁盘写数据时会先将数据写入操作系统内存（os cache），达到一定的条件后再顺序写入磁盘，顺序写入磁盘其实就是追加，在上一条数据的物理地址后写入数据。根据kafka官网的说法，6个7200转的磁盘组成raid5，顺序写的速度能达到（600MB/S），保证了写数据的高效。二、零拷贝机制 三、日志分段保存 四、二分查找加稀疏hash定位 五、高并发网络 六、多副本保证高可用...
2021-05-01 21:26:12
277
原创 NameNode启动流程
场景驱动，NameNode的启动流程，通过观看源码（hadoop2.7）直接去找NameNode的main方法，进入到initialize(conf)初始化的方法，在这里NameNode主要进行了四个方面的操作。 1、startHttpServer(conf)调用这个方法启动了一个httpserver，并且Hadoop的httpserver是自己封装实现的类似Hadoop的rpc。这一步主要是启动这个httpserver绑定一些servet并通过50070端口对外提供服务。就是hdfs的web页面所展.
2020-12-28 16:11:30
929
原创 NameNode的元数据管理及HA
1、NameNode的作用 NameNode是HDFS主从架构的主节点的守护进程，其主要作用为：负责相应客户端的读写请求管理HDFS的元数据配置和应用副本存放策略管理集群数据块负载均衡问题 其中元数据管理是NameNode最重要的功能之一，WAL（预写式日志）是管理NameNode元数据的主要手段。在使用WAL的系统中，所有的修改在提交前都要写入日志文件。...
2020-11-24 23:38:16
1185
原创 HDFS的一些常见机制
1、HDFS的心跳机制Hadoop2.x包含两个主从架构（Master/Slave）HDFS和YARN，这两个其实可以看做时两个独立的架构。其中hdfs包含NamenNode和DataNode两个守护进程yarn包含resourcemanager和NodeManager两个守护进程hdfs的心跳机制指的是从节点DataNode会再一定的时间间隔向主节点NameNode发送数据包汇报自身的状态，hdfs也因此来判断DataNode是否存活。在hdfs的Master节点启动时同时会启动一个IPC 通
2020-11-22 00:53:13
462
2
第三方客户端.zip
2020-01-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人