大数据
文章平均质量分 84
渔夫数据库笔记
微信公众号:渔夫数据库笔记,欢迎关注。
展开
-
如何修改 Phoenix 参数
如何修改 Phoenix 参数并使之生效原创 2021-12-29 17:22:42 · 1432 阅读 · 0 评论 -
kafka学习之路(一)——入门
kafka学习之路(一)——入门 Kafka学习之路... 一、入门.. 1、简介 2、主题(Topics)、日志(Logs) 3、分布式(Distribution) 4、生产者(Producers) 5、消费者(Consumers) 一、入门 1、简介 Kafka 是linkedin 公司用于日志处理的分布式消息队列,同时支持离线和在线日志处理。kafka 对消息保存时根据Topic进行归类,发送消息者成为Producer,消...转载 2021-04-07 15:57:34 · 270 阅读 · 0 评论 -
kafka学习之路(三)——高级
设计原理 kafka的设计初衷是希望作为一个统一的信息收集平台,能够实时的收集反馈信息,并需要能够支撑较大的数据量,且具备良好的容错能力. 持久性 kafka使用文件存储消息,这就直接决定kafka在性能上严重依赖文件系统的本身特性.且无论任何OS下,对文件系统本身的优化几乎没有可能.文件缓存/直接内存映射等是常用的手段.因为kafka是对日志文件进行append操作,因此磁盘检索的开支是较小的;同时为了减少磁盘写入的次数,broker会将消息暂时buffer起来,当消息的个数(或尺寸)达到一定阀值时,再转载 2021-04-07 16:55:33 · 175 阅读 · 0 评论 -
kafka学习之路(二)——提高
kafka学习之路(二)——提高 消息发送流程 因为Kafka内在就是分布式的,一个Kafka集群通常包括多个代理。为了均衡负载,将话题分成多个分区,每个代理存储一或多个分区。多个生产者和消费者能够同时生产和获取消息。 过程: 1.Producer根据指定的partition方法(round-robin、hash等),将消息发布到指定topic的partition里面 2.kafka集群接收到Producer发过来的消息后,将其持久化到硬盘,并保留消息指定时长(可配置),而不关注消息是否被消费。转载 2021-04-07 16:48:05 · 122 阅读 · 0 评论