学习计划 - kafka

原创 2016年08月31日 08:07:50

学习目标

kafka为啥会产生?

应对实时处理需求,需要一个系统可以缓存数据,可以供多个其他程序进行读取和处理。

kafka产生了。 产生数据到kafka,应用程序可以对kafka里面的数据进行读取然后处理,而kafka仅仅是缓存数据,并对数据设置一个过期时间,这样可以做到持续运转无需人工干预,而且kafka有防单点功能,总结一句,kafka是一个提供数据存放和读取而又带有自动处理“污水”功能的蓄水池。

术语有哪些?

产生消息到kafka的叫做 producer

订阅topics以及消费kafka数据的叫做 consumer

kafka集群由一台或者多台服务器组成,每台服务器被叫做一个broker

每个topics里面的数据按照partition进行划分,consumer可以通过设置offset进行读取数据,只要数据还没有过期,因为kafka有log有效时间设置,过了之后,kafka会消灭过期的数据,free up disk。

每个topic由若干个partition组成,每个partition以及副本会分布在多个机器里面(副本数N,最多可以允许有N-1个broker挂掉),一般是3,3个partition有一台机器会作为Leader,其余两个作为Follower,跟其他分布式系统相似但也有不同,Leader partition会完成所有读写操作,而不仅仅是写操作,而Follower partition只能进行与Leader Partition进行同步,连读功能都不行!

典型应用

  • 日志聚合。 很多服务器产生的日志打向kafka,进行集中存放。
  • 流处理。一开始是粗糙的数据进入kafka,消费者对数据进行消费处理后把数据仍旧打进kafka,但是是另外一个topic。

深入和扩展

consumer。 一般消息系统的消费者有两种模型,一种是 queueing模型,另外一种是订阅和消费模型。 队列模型的时候,一个消息只能被一个消费者消费,然后下个消息被另外一个消费者消费,就是不可能做到一个消息被一群消费者消费。 kafka是第二种模型,但是也是支持第一种模型的哦。如果kafka的消费者们都在同一个组里面,那么就是第一种模型;如果消费者们分别在不同的组里面,那么就是第二种模型,可以做到一条消息,被多组消费者里面的消费者消费。

版权声明:更多精彩请关注 http://book.opschina.org, 或者加入QQ新群648503385, 让天下没有难做的运维。

相关文章推荐

kafka的学习

  • 2015-09-22 16:43
  • 531KB
  • 下载

kafka学习实例

Kafka学习整理四(Producer配置)

Kafka学习整理

kafka 安装学习

  • 2017-04-12 20:05
  • 34.29MB
  • 下载

Kafka学习,官网笔记(1)~

最近想学习kafka这个消息队列,于是想着先阅读官网的介绍以及入门实例,奈何英文太差,只能自己一边翻译一遍学习了,希望大家勿怪! 简介: Kafka 是一个分布式流平台,实际上这到底以为这什么呢?...

Kafka学习整理九(集群的扩容)

Kafka学习整理九(集群的扩容)

kafka学习总结(含java生产者、消费者、Topic操作代码)

kafka(http://kafka.apache.org)是一款分布式消息发布和订阅的系统,具有高性能和高吞吐率。笔者主要是将在自己的应用当中所用到资料整合在一起,并且加上自己的理解从而写下了这篇文...

Kafka学习笔记

转载自:http://blog.csdn.net/baiyangfu_love/article/details/8096084 关于kafka的架构图在之前的一篇文章中有: http://...

kafka学习

kafka概念介绍:           kafka是一个分布式发布-订阅消息系统,最初由LinkedIn公司开发,目前成为Apache的项目之一。能够提供普通的消息系统功能。是一个分布式的,可划分...

Kafka 学习应用笔记(一)

准备重构公司的日志系统,公司目前有多台的服务器在提供服务,产生日志。如果把日志记录在每个服务器,就要每天设置定时任务,把日志同步到一起,再整合起来,也不便于实时分析。。。。。。 反正感觉有各种不便,...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)