kafka
文章平均质量分 86
kafka
伊布拉西莫
思想上的强者,行动上的弱者。
展开
-
kafka简介
Kafka 是一款开源的、轻量级的 、分布式、可分区和具有复制备份的 C Replicated )、基于ZooKeeper 协调管理的分布式流平台的功能强大的消息系统 。 Kafka 定位就是一个分布式流处理平台。作为一个流式处理平台,必须满足以下三个关键特性:能够允许发布和订阅流数据。存储流数据时提供相应的容错机制。当流数据到达时能被及时处理。kafka结构 消息生产者...原创 2018-08-28 21:45:48 · 567 阅读 · 0 评论 -
kafka-manager相关
kafka维护工具使用指南转载 2018-10-19 10:55:54 · 167 阅读 · 0 评论 -
Kafka-配置&命令
《Kafka权威指南》学习笔记kafka安装配置broker配置broker.id:每个broker都需要有一个标识符,使用broker.id来表示。它的默认值是0,也可以被设置成其他任意整数。这个值在整个Kafka集群里必须是唯一的。potr:默认9092,可以指定任意端口号。(如果需要1024以下端口号,需要root权限)broker.rack:机架信息。broker所在机架。...原创 2018-10-17 20:23:14 · 1470 阅读 · 0 评论 -
Kafka-生产者
《Kafka权威指南》学习笔记Kafka生产者一一向Kafka写入数据生产者概览尽管生产者API使用起来很简单,但消息的发送过程还是有点复杂的:我们从创建一个ProducerRecord对象开始,ProducerRecord对象需要包含目标主题和要发送的内容。我们还可以指定键或分区。在发送ProducerRecord对象时,生产者要先把键和值对象序列化成字节数组,这样它们才能够在网...原创 2018-10-17 20:27:41 · 284 阅读 · 0 评论 -
Kafka-消费者
《Kafka权威指南》学习笔记Kafka-消费者一一从Kafka读取数据应用程序使用KafkaConsumer向Kafka订阅主题,并从订阅的主题上接收消息。消费者和消费者群组Kafka消费者从属于消费者群组。一个群组里的消费者订阅的是同一个主题,每个消费者接收主题一部分分区的消息。注意:同一个分区的数据只能由一个消费者读取,如果消费者数超过分区数,则会有一部分消费者闲置,不会出现多...原创 2018-10-19 09:14:50 · 1301 阅读 · 1 评论 -
深入kafka
《Kafka权威指南》学习笔记深入kafka集群成员关系Kafka使用Zookeeper来维护集群成员的信息。每个broker都有一个唯一标识符,这个标识符可以在配置文件里指定,也可以自动生成(强烈建议写在配置文件中)。在broker启动的时候,它通过创建临时节点把自己的ID注册到Zookeeper(/brokers/ids).-brokers -ids -0 -1 ...原创 2018-10-22 08:29:33 · 223 阅读 · 0 评论 -
[转]调优Apache Kafka集群
调优Apache Kafka集群转载 2018-10-31 14:12:32 · 123 阅读 · 0 评论 -
storm-KafkaSpout接入Kerberous认证的kafka--排坑记
Installing Kerberos on Redhat 7Linux下搭建zookeeper+kafka+kerberos(基于centos7)Kerberos常用命令总结服务器规划s160:安装kerberos服务kerberos服务安装0.下载jce的jar包下载地址:orcle-jce-8.jars将zip解压,并将两个jar放置到%JAVA_HOME%/jre/...原创 2019-01-12 20:49:28 · 1770 阅读 · 1 评论