大数据学习笔记之kafka----分布式消息发布/订阅系统

一、kafka简介

kafka是Linkedin于2012年12月份开源的消息系统

kafka是一个分布式的,基于发布/订阅的消息系统;

kafka:一个队列平台,不仅支持离线,还支持在线

特点:

  1. --消息持久化:通过O(1)的磁盘数据结构提供数据的持久化;针对磁盘存储做了大量的优化,提高了磁盘存储的效率;主要针对了操作系统的特性来进行优化:预读、后写:针对磁盘的顺序访问,优化了写磁盘的机制,降低了写磁盘的次数,提高了写磁盘的速率
  2. --高吞吐量:每秒百万级的消息读写
  3. --分布式:扩展能力强
  4. --多客户端支持:java、php、python、C++......
  5. --实时性:生产者生产的message立即被消费者可见;其中message为kafa的数据单位

二、kafka基本组件

  1. broker:每一台机器叫一个broker
  2. producer:日志消息生产者,用来写数据;
  3. consumer:消息的消费者,用来读数据,可以订阅一个或者多个话题,从broker拉数据,从而消费这些已发布的消息;
  4. topic:不同消费者去指定的topic中读,不同的生产者往不同的topic中写;topic就类似于一个话题,是一个逻辑概念;然后话题的发布者(producer)可以有很多的粉丝(consumer),然后consumer可以订阅producer生产的topic;producer和consumer之间可以有多个topic;
  5. partition:在topic基础上做了进一步的区分分层;是topic的物理实现

从上图可以看出,生产者将数据发送给Broker代理,Broker代理有多个话题topic,消费者从Broker获取数据。

kafka使用场景

日志收集:公司可以用kafka手机各种服务器的log,通过kafka以统一的接口服务的方式开发给各种consumer,例如Hadoop、Hbase、Solr等

消息系统:解耦生产者和消费者,魂村消息等

用户活动跟踪:kafka经常被用来记录web用户或者app用户的各种活动,如浏览网页,搜索,点击等活动,这些活动信息被各个服务器发布到kafka的topic中,然后订阅者通过订阅这些topic来做实时的监控分析,或者装载到hadoop,数据仓库中做离线分析和挖掘

运营指标:kafka也经常用来记录运营监控数据,包括收集各种分布式应用的数据,生产各种操作的集中反馈,比如报警和报告。

流式处理:比如spark streaming和storm

 

 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值