![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Kafka系列
东谌
岁月如歌,流年易逝
展开
-
Kafka基础--安装
公司人物画像项目数据量非常大,技术上准备使用kafka,以前只使用过RabbitMq,但不是适合大数据的处理,所以加强学习下kafka,希望今年能有很好的提升。公司开发环境Windows10系统,以前使用过Docker安装过redis,mongoDb感觉使用非常方便,所以打算继续使用Docker安装kafka;至于Docker安装很简单,到官网下载安装即可https://www.docker....原创 2019-06-06 16:41:59 · 159 阅读 · 0 评论 -
Kafka基础--简介
一、简介1.1 概述Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/nginx日志、访问日志,消息服务等等,Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。主要应用场景是:日志收集系统和消息系统。Kafka主要设计目标如下:以时间...原创 2019-06-10 11:03:14 · 107 阅读 · 0 评论 -
Kafka基础--Kafka的架构
一、Kafka的架构如上图所示,一个典型的Kafka集群中包含若干Producer(可以是web前端产生的Page View,或者是服务器日志,系统CPU、Memory等),若干broker(Kafka支持水平扩展,一般broker数量越多,集群吞吐率越高),若干Consumer Group,以及一个Zookeeper集群。Kafka通过Zookeeper管理集群配置,选举leader,以...原创 2019-06-10 11:47:35 · 108 阅读 · 0 评论 -
Kafka基础--Kafka的高可用
一、高可用的由来1.1 为何需要Replication 在Kafka在0.8以前的版本中,是没有Replication的,一旦某一个Broker宕机,则其上所有的Partition数据都不可被消费,这与Kafka数据持久性及Delivery Guarantee的设计目标相悖。同时Producer都不能再将数据存于这些Partition中。 如果Producer使用同步模式...原创 2019-06-10 15:01:12 · 109 阅读 · 0 评论 -
Kafka提升--内部工作原理
如果只是为了开发 Kafka 应用程序,或者只是在生产环境使用 Kafka,那么了解 Kafka 的 内部工作原理不是必需的。不过,了解 Kafka 的内部工作原理有助于理解 Kafka 的行为, 也有助于诊断问题。下面不会涵盖 Kafka 的每一个设计和实现细节,而是集中讨论以下 3 个有意思的话题:• Kafka 如何进行复制; • Kafka 如何处理来自生产者和消费者的请...原创 2019-06-25 10:47:01 · 199 阅读 · 0 评论 -
Kafka提升--可靠的数据传递
对于系统来说,可靠的数据传递不能成为马后炮。与性能一样,在系统的设计之初就应该 考虑可靠性问题,而不能在事后才来考虑。而且,可靠性是系统的一个属性,而不是一 个独立的组件,所以在讨论 Kafka 的可靠性保证时,还是要从系统的整体出发。说到可靠 性,那些与 Kafka 集成的系统与 Kafka 本身一样重要。正因为可靠性是系统层面的概念, 所以它不只是某个个体的事情。 Kafka 管...原创 2019-06-25 17:59:05 · 250 阅读 · 0 评论 -
Kafka提升--流式处理(1)
1、什么是流式处理 先来看看什么是数据流(也被称为“事件流”或“流数据”)。首先,数据流是无边界数据集的抽象表示。无边界意味着无限和持续增长。无边界数据集之所以是无限的,是因为随 着时间的推移,新的记录会不断加入进来。这个定义已经被包括 Google 和 Amazon 在内的大部分公司所采纳。 这个简单的模型(事件流)可以表示很多业务活动,比如信用卡交易、股票交易...原创 2019-06-26 17:24:42 · 1540 阅读 · 0 评论