09Kafka
文章平均质量分 82
Kafka
专注_每天进步一点点
成为健康快乐长寿有价值的人,拥有明亮灵动的眼睛,平静谦和的微笑。
展开
-
001 Kafka如何保证消息的顺序性
kafka的Consumer均衡算法在说顺序性这个问题之前,我们要先搞明白的是消费者是怎么消费分区上的数据。我们这里不详细讨论该算法,这不是本文的重点。简单的说:kafka的消费组的组员最多增加到和partition数量一致,超过的组员只会占用资源,而不起作用;kafka的partition的个数一定要大于消费组组员的个数,并且partition的个数对于消费组组员取模一定要为0,不然有些消费者会占用资源却不起作用;我们一般将消费组里组员的个数设置为和parti转载 2022-04-13 17:47:31 · 1702 阅读 · 1 评论 -
apache kafka技术分享系列(目录索引)——美团大佬李志涛
每当有新blog发布时,会在此处更新,欢迎大家拍砖共同成长目录索引:Kafka使用场景1.为何使用消息系统2.我们为何需要搭建Apache Kafka分布式系统3.消息队列中点对点与发布订阅区别Kafka设计与原理分析1)apache Kafka概要介绍2)Kafka副本同步机制理解3)Kafka文件存储机制那些事(我在美团官博发表文章)4) Kafka数据可靠性与一致性解析5) Kafka集群partitions/replicas默认分配解析6)Ap..转载 2021-02-20 09:44:22 · 647 阅读 · 0 评论 -
Kafka史上最详细原理总结--看完面试稳了
KafkaKafka是最初由Linkedin公司开发,是一个分布式、支持分区的(partition)、多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎,web/nginx日志、访问日志,消息服务等等,用scala语言编写,Li...转载 2019-05-22 10:10:35 · 408 阅读 · 0 评论 -
Kafka常见问题
问题1:如何保证消息消费的有序性呢?比如说生产者生产了0到100个商品,那么消费者在消费的时候安装0到100这个从小到大的顺序消费,那么kafka如何保证这种有序性呢?难度就在于,生产者生产出0到100这100条数据之后,通过一定的分组策略存储到broker的partition中的时候,比如0到10这10条消息被存到了这个partition中,10到20这10条消息被存到了那个partiti...转载 2019-05-22 10:10:50 · 370 阅读 · 0 评论 -
Kafka文件存储机制那些事
Kafka是什么Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/nginx日志、访问日志,消息服务等等,Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。一个商业化消息队列的性能好坏,其文件存储机制设计是衡量一个消息队列服务技术水平和最关键指标之...转载 2019-05-22 10:10:15 · 164 阅读 · 0 评论 -
Kafka是如何实现几十万的高并发写入
开篇在初识kafka 一文中讲了使用MQ(消息队列)来设计系统带来的好处:业务解耦、流量削峰、灵活扩展当下流行的MQ有很多,因为我们公司在技术选型上选择了使用Kafka,所以我就整理了一篇关于Kafka的入门知识。通过技术选型 我们对业界主流的MQ进行了对比,Kakfa最大的优点就是吞吐量高 。Kafka是高吞吐低延迟的高并发、高性能的消息中间件,在大数据领域有极为广泛的...转载 2019-09-29 10:25:40 · 563 阅读 · 0 评论 -
Kafka的架构设计
转自:http://www.oschina.net/translate/kafka-design参与翻译(4人):fbm, 飞翔的猴子, Khiyuan, nesteaa感谢这些同志们的辛勤工作,翻译的真不错,目前见到的最好的Kafka中文文章------------------------------------------------------------------------...转载 2019-05-22 10:10:02 · 264 阅读 · 0 评论 -
耿嘉安,10余年IT行业相关经验。先后就职于阿里巴巴、艺龙、360,专注于开源和大数据领域。360大数据专家
https://www.cnblogs.com/jiaan-geng/转载 2019-10-11 15:35:33 · 687 阅读 · 0 评论 -
Kafka+Spark Streaming+Redis小项目_自己实践成功
自己实践成功后的代码放在以下百度网盘账号下:链接:https://pan.baidu.com/share/init?surl=WD1Kjfw5GOpdmQIk3KnyaA提取码:4g8c这个项目主题思路是: 手机客户端会收集用户的行为事件(我们以点击事件为例),将数据发送到数据服务器,我们假设这里直接进入到Kafka消息队列 后端的实时服务会从Kafka消费数据,将数...转载 2019-05-22 10:11:16 · 978 阅读 · 0 评论 -
Spark+Kafka_2019年3月29日和贝贝(京东推荐系统算法组成员)聊天内容记录
京东的推荐系统大组分三个小组:1、数据平台组(负责数据采集数据存储数据清洗等)2、推荐系统算法组,利用数据平台组的数据跑出模型、用户画像等3、推荐服务组,加载模型文件提供推荐服务应对6.18或是双11,数据量暴增可能采取数据抽样!用样本代替总体。你们的数据量有多大如何解决数据倾斜数据本地化,原则上移动计算不移动数据,但当在某一个节点上集结了太多的计算任务的时候,有...原创 2019-04-01 14:43:47 · 2173 阅读 · 0 评论 -
Scala版本冲突--java.lang.NoSuchMethodError: scala.collection.immutable.HashSet$.empty()
问题描述Run 代码的时候报错Exception in thread "main" java.lang.NoSuchMethodError:scala.collection.immutable.HashSet$.empty()Lscala/collection/immutable/HashSet;解决办法 将Scala2.11.x更换为Scala2.10.x操作...原创 2019-03-20 17:28:50 · 712 阅读 · 0 评论