Kafka学习笔记
文章平均质量分 96
-无妄-
本人主要记录的是学习笔记和其他参考,持续学习中。。。
展开
-
分布式日志收集框架Flume--
文章目录Flume概述Flume架构及核心组件Flume&JDK环境部署Flume实战案例一Flume实战案例二Flume实战案例三(重点掌握)业务现状:公司有Hadoop集群;同时拥有大量日志数据;你想要把大量日志数据放入Hadoop中进行分析。WebServer/ApplicationServer分散在各个机器上想大数据平台Hadoop进行统计分析日志如何收集到Hadoop平...原创 2018-12-06 20:37:33 · 1624 阅读 · 0 评论 -
分布式发布订阅消息系统Kafka--
文章目录Kafka概述Kafka架构及核心概念Kafka单节点单Broker部署之Zookeeper安装单节点单Broker部署单节点多Broker部署及使用Kafka概述卡夫卡是用于构建实时数据管道和流媒体应用。它是水平可伸缩的,容错的,快速的,并运行在数千家公司的生产。PUBLISH & SUBSCRIBE像消息传递系统一样读写数据流。PROCESS编写可伸缩的流式处理应...原创 2018-12-07 11:21:59 · 665 阅读 · 0 评论 -
linux中各种软件环境问题
网络配置cd /etc/sysconfig/network-scripts/TYPE="Ethernet"PROXY_METHOD="none"BROWSER_ONLY="no"BOOTPROTO="dhcp"DEFROUTE原创 2018-12-18 17:18:17 · 498 阅读 · 0 评论 -
Kafka生产者和消费者--
文章目录Kafka生产者:向broker写数据生产者概览创建生产者构造ProducerRecord发送消息到broker序列化器分区顺序性和可靠性Kafka消费者基本概念消费过程创建消费者订阅主题轮询提交反序列化器Kafka生产者:向broker写数据生产者概览创建生产者Properties props = new Properties();props.put(“bootstrap.s...原创 2019-03-14 11:22:00 · 5788 阅读 · 0 评论 -
深入Kafka--
集群成员关系控制器控制器的作用: 除具有一般broker的功能之外,还负责分区首领的选举控制器的选举: 各broker向ZK中/controller注册临时节点分区首领的选举: broker加入时,同步副本;broker离开时,选举新的分区首领分区复制首领副本 :每个分区都有一个首领副本。首领副本负责处理理所有生产者和消费者的请求跟随者副本:首领以外的副本都是跟随者副本。跟随...原创 2019-03-14 15:18:09 · 220 阅读 · 0 评论 -
kafka配置体系--
文章目录配置概览动态配置命令broker配置topic配置客户端配置配置概览动态配置命令少量配置可以在机器/程序运行期间进行动态修改,动态配置的内容存在ZK之中示例例:bin/kafka-configs.sh --bootstrap-server localhost:9092 --entity-type brokers --entity-default --alter --add-c...原创 2019-03-15 14:42:27 · 201 阅读 · 0 评论 -
kafka元数据管理--
文章目录ZK结构树admin节点brokers节点consumers节点config节点controller节点ZK结构树admin节点brokers节点consumers节点/consumers/[groupId]/ids/[consumerIdString]/consumers/[groupId]/owners/[topic]/[partitionId] -> co...原创 2019-03-15 15:23:54 · 4134 阅读 · 1 评论 -
kafka集群管理--
文章目录主题操作消费者群组生产和消费代码演示主题操作bin/kafka-topics.sh —zookeeper localhost:2181/kafka#(在server.properties里配置的zk的路径)# 创建主题--create --if-not-exists --topic demo_kafka --partitions 2 --replication-factor 2#...原创 2019-03-15 16:09:43 · 151 阅读 · 0 评论 -
kafka可靠的数据传递--
文章目录基本保证broker可靠性生产者可靠性消费者可靠性基本保证broker可靠性副本系数:replication.factor = 3⼀般设为3,为了更高的安全性,可以设为5,同时考虑副本的分布不完全的选举:unclean.leader.election.enable = true/false允许不同步的副本成为首领:可用性和一致性之间权衡最少同步副本:min.i...原创 2019-03-15 16:20:59 · 297 阅读 · 0 评论