大数据相关
停不下的脚步
这个作者很懒,什么都没留下…
展开
-
kerberos关键知识点
参考以下资料,及《OReilly.Architecting.Modern.Data.Platforms》 https://www.cnblogs.com/wn1m/p/10700466.html https://www.jianshu.com/p/fc2d2dbd510b https://help.aliyun.com/document_detail/89886.html?spm=a2c4g.11186623.4.1.37a6b019HkcGLQ kerberos是一个网络通信身份认证,包含u.原创 2020-09-14 00:10:29 · 919 阅读 · 0 评论 -
零拷贝
本文原自知乎文章总结,建议大家看原文。 https://zhuanlan.zhihu.com/p/83398714 这是正常的非零拷贝,需要四次复制: 传统的数据IO传输分为两部分,读操作和写操作: 基于传统的 I/O 读取方式,read 系统调用会触发 2 次上下文切换,1 次 DMA 拷贝和 1 次 CPU 拷贝,发起数据读取的流程如下: 用户进程通过 read() 函数向内核(kernel)发起系统调用,上下文从用户态(user space)切换为内核态(kernel spa..原创 2020-09-14 00:07:25 · 300 阅读 · 0 评论 -
zookeeper知识点
https://zhuanlan.zhihu.com/p/24996631 https://www.cnblogs.com/raphael5200/p/5285583.html zk=注册监听通知+文件系统 注册监听通知 客户端注册监听它关心的目录节点,当目录节点发生变化,如数据改变,被删除,子目录节点增加删除时,zk会通知客户端。这时客户端就可以根据传过来的信息采取一系列的操作。 文件系统 zk维护一个如下图的文件结构 1、每个子目录项如NameService都被称为znode,有四种类原创 2020-09-14 00:05:47 · 481 阅读 · 0 评论 -
kafka知识点
kafka要点 创建一条记录,记录中一个要指定对应的topic和value,key和partition可选。 先序列化,然后按照topic和partition,放进对应的发送队列中。 kafka,从逻辑上划分,分为多个topic,每个topic由一个或多个partition组成,多个partition分布在不同的机器上,每个partition都有自己的1个或多个备份,每组partion都有一个leader负责接收信息,其他的follower负责复制信息,每个partition内部的记录是有序原创 2020-09-14 00:04:53 · 305 阅读 · 0 评论