初识kafka

原创 2016年08月30日 10:48:09

kafka应用场景:

我们大量使用分布式数据库,分布式集群的时候。会考虑这样一些问题:

1、通过分析用户行为,方便我们设计出更好的广告位。

2、对用户的搜索关键词进行分析统计,分析出流行趋势

3、有些数据,存数据库浪费,存硬盘效率低

 

这个时候,我们可以考虑使用消息队列,尤其是分布式消息系统。

 

我知道ActiveMQRabbitMQ还有kafka

 

Kafka:分布式消息系统,具有高水平扩展和高吞吐量、

 

应用领域:作为多种类型的数据管道和消息系统使用。如:淘宝、支付宝、百度

 

使用背景:

优点:支持动态扩容,如果不支持动态扩容,意味着要重启服务。这对有些公司是不可接受的。



kafka的AMQP协议:


producer:向broker发布消息

consumer:从消息队列中请求消息

broker:接收provucer发送的消息,并将消息路由给服务器中的队列


版权声明:本文为博主原创文章,未经博主允许不得转载。

kafka 的 zookeeper 初识

初识kafka的zookeeper           最近项目中,使用redis进行消息的分发与订阅。这种模式就是一种多播的方式,但是随着消息的不断增加,消费端来不及处理所有的数据。在没有持久化的功...

初识Kafka(一)

初识Kafka(一) 一、Kafka 的使用背景 1、在我们大量的使用分布式数据库、分布式计算集群的时候,是否会遇到这样的一些问题呢? # 我想分析用户行为,以便我能设计出更好的广告位 # ...

初识Kafka:构架、生产消费模型以及其他相关概念

公司的事件总线采用的是Kafka分布式消息队列来完成的,近来项目需要接入到事件总线中,故开启了kafka的学习之旅(之前一直在听说kafka这玩意儿,但是学习计划中还没有将它安排进去,借着这个机会学习...

初识Apache Kafka+JAVA程序实例

本文是从英文的官网摘了翻译的,用作自己的整理和记录。水平有限,欢迎指正。版本是: kafka_2.10-0.10.0.0   一、基础概念 主题:Kafka maintains feeds of m...

(一)Kafka中文教程-初识kafka

之前我介绍过RabbitMQ,RabbitMQ作为企业级的消息队列其实未必能满足所有的需求,RabbitMQ在持久化、可靠性、消息确认机制、任务分发等方面都非常优秀。但也因为这些原因导致RabbitM...

初识Kafka----个人理解,希望对喜欢kafka的朋友有帮助

1、什么是kafka? kafka是一个发布订阅系统,主要用作缓存 2、核心概念 首先kafka是一个集群,有很多个节点组成。 Broker['brəʊkə]:节点名称每一个节点称作broke...

Kafka教程(二)---------------Kafka架构初识

本文为Kafka教程的第二节,主要讲解了kafka的总体架构。 阐述了kafka分布式消息队列的存在意义,shell操作,及其中几个重要的概念...

初识MyBatis

  • 2017年06月30日 15:44
  • 572KB
  • 下载

初识java笔记

  • 2015年08月09日 12:58
  • 715KB
  • 下载

linux input输入子系统分析《一》:初识input输入子系统

主要讲述本人在学习Linux内核input子系统的全部过程,如有分析不当,多谢指正。以下交流方式,文章欢迎转载,保留联系信息,以便交流。 邮箱:eabi010@gmail.com 主页:www.i...
  • ielife
  • ielife
  • 2012年07月29日 14:33
  • 10115
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:初识kafka
举报原因:
原因补充:

(最多只允许输入30个字)