初识kafka

原创 2016年08月30日 10:48:09

kafka应用场景:

我们大量使用分布式数据库,分布式集群的时候。会考虑这样一些问题:

1、通过分析用户行为,方便我们设计出更好的广告位。

2、对用户的搜索关键词进行分析统计,分析出流行趋势

3、有些数据,存数据库浪费,存硬盘效率低

 

这个时候,我们可以考虑使用消息队列,尤其是分布式消息系统。

 

我知道ActiveMQRabbitMQ还有kafka

 

Kafka:分布式消息系统,具有高水平扩展和高吞吐量、

 

应用领域:作为多种类型的数据管道和消息系统使用。如:淘宝、支付宝、百度

 

使用背景:

优点:支持动态扩容,如果不支持动态扩容,意味着要重启服务。这对有些公司是不可接受的。



kafka的AMQP协议:


producer:向broker发布消息

consumer:从消息队列中请求消息

broker:接收provucer发送的消息,并将消息路由给服务器中的队列


版权声明:本文为博主原创文章,未经博主允许不得转载。

Kafka学习笔记:初识Kafka

前言Apache Kafka is a distributed streaming platform and is used for building real-time data pipelines...
  • qq_31823267
  • qq_31823267
  • 2017年08月26日 14:21
  • 81

初识人工智能

人工智能,之所以冠以“”人工“,最主要是因为其模仿人类的思维过程所产生的。而“”智能“”,怎样才算智能呢?前一阵子比较火的智能家居,最主要的形式是通过各种手机APP 或者终端远程控制各种家电开关,这种...
  • oangeli
  • oangeli
  • 2017年01月18日 23:35
  • 228

Kafka 初识

Kafka是什么? Kafka是一个高吞吐量的、分布式的消息发布-订阅系统,官网解释为一个分布式的、可分区的、可复制的的提交日志服务。具有如下特性: 1、通过O(1)的磁盘数据结构提供消息的持久化,这...
  • qiruiduni
  • qiruiduni
  • 2016年02月03日 11:57
  • 358

初识kafka

什么是Apache kafka?      系统应用用户的活动数据、请求数据、交互数据、运行维护数据如性能监测、服务器CPU指标这些大量的数据都在无时无刻的产生,Kafka便是有着一套成熟的消息处理...
  • linxi1209163com
  • linxi1209163com
  • 2016年03月31日 20:30
  • 607

初识Kafka

(一)Kafka设计背景及原因 Kafka最初被LinkedIn设计来处理活动流数据(activity stream data)和系统处理数据(operaitonal data)。活动流数据是指像p...
  • shanelisy
  • shanelisy
  • 2016年01月09日 15:53
  • 757

Kafka初识

问题一 写出增加Kafka的Partition命令 bin/kafka-add-partitions.sh --topic test --partition 2 --zookeeper 192...
  • u011239443
  • u011239443
  • 2016年07月24日 18:10
  • 421

kafka初识

简介Kafka 是 linkedin 用于日志处理的分布式消息队列,同时支持离 线和在线日志处理。kafka 对消息保存时根据 Topic 进行归类,发送 消息者成为 Producer,消息接受者成为...
  • u012373815
  • u012373815
  • 2016年08月25日 22:58
  • 373

JAVA学习第一课(初识JAVA)

PS:退ACM集训队了,自己也疯玩了两天,后天就开学了,就正式大二了,该收收心好好学习啦                                                        ...
  • u013497151
  • u013497151
  • 2014年08月30日 14:51
  • 2270

(一)Kafka中文教程-初识kafka

之前我介绍过RabbitMQ,RabbitMQ作为企业级的消息队列其实未必能满足所有的需求,RabbitMQ在持久化、可靠性、消息确认机制、任务分发等方面都非常优秀。但也因为这些原因导致RabbitM...
  • Super_RD
  • Super_RD
  • 2017年05月23日 15:30
  • 522

【redis 基础篇一】redis初识

在JDB来了差不多一个月的时间了,在了解公司业务和框架的过程中,看到了在通过上游调用接口的过程中,使用到了redis来调用值,上游将一个参数传过来,我们通过这个参数去redis中读取部分参数,然后将所...
  • huo065000
  • huo065000
  • 2016年02月28日 18:57
  • 644
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:初识kafka
举报原因:
原因补充:

(最多只允许输入30个字)