Kafka 0.10.1 官方文档(中文版)-1 开始

1.1 简介

Kafka是一个分布式流数据处理平台。这到底是什么意思呢?
我们认为一个流数据处理平台必须具备三个关键功能

  1. 它允许你发布订阅流数据,在这方面,他类似一个消息队列或企业级消息系统(消息中间件);
  2. 它让你存储的流式数据具有容错机制;
  3. 它让你能实时处理流式数据

Kafka有什么好处? 它被用于两大类别的程序:

  1. 在系统和应用之间构建实时、可靠获取数据的流数据管道
  2. 构建用于数据转换、数据重复处理的实时流数据应用

要想明白kafka如何做这些事情,需要我们从上到下深入探索kafka的功能。
先熟悉几个概念:

  1. kafka可以作为集群运行在一个或多个的服务器上;
  2. kafka集群存储流数据类别的称为topic。
  3. 每条记录由一个key,value,timestamp组成的。

Kafka有4个核心的APIs:

  1. Producer API:允许某个应用程序发布流数据到一个或多个kafka topic
  2. Consumer API:允许某个应用程序订阅一个或多个kafka topic同时处理生产的流数据。
  3. Streams API:允许某应用程序作为流处理器,消费一个或多个topic输入流和生产一个或多个topic输出流,高效地转换输入输出流。
  4. Connector API:允许构建和运行可重用的生产者或消费者,连接kafka topic到现有的应用程序或数据系统、例如:一个连接到关系型数据库可能需要捕获一张表的每次改变。(可作为数据库日志同步功能)

这里写图片描述
在kafka中,客户端和服务器之间的通信采用简单的,高性能,开发语言无关的TCP协议。这种协议是有版本的,并且保持向后兼容性。Kafka提供了一个Java的客户端,同时也提供其他开发语言的客户端

  • 2
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 4
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值