Kafka
u010463032
这个作者很懒,什么都没留下…
展开
-
kafka数据同步Elasticsearch深入详解
1、kafka同步到Elasticsearch方式?目前已知常用的方式有四种: 1)logstash_input_kafka插件; 缺点:不稳定(ES中文社区讨论) 2)spark stream同步; 缺点:太庞大 3)kafka connector同步; 4)自写程序读取、解析、写入 本文主要基于kafka connector实现kafka到Elasti转载 2017-12-22 10:30:58 · 11767 阅读 · 1 评论 -
Kafka异常处理(消费者不消费数据)
问题生产问题,OffsetMonitor 监控发现运行了一个月的kafka突然间消费有lag.而且消费端不消费数据分析在客户端写try..catch…捕获异常: 2017-08-27 09:47:48,103 ERROR [com.ecar.eoc.message.platform.kafka.Kafka211Context] - [kafka_Exceptio转载 2018-01-05 14:04:50 · 13985 阅读 · 2 评论 -
kafka consumer 配置详解
转载自:http://www.58maisui.com/2016/11/15/884/#coordinator1、Consumer Group 与 topic 订阅每个Consumer 进程都会划归到一个逻辑的Consumer Group中,逻辑的订阅者是Consumer Group。所以一条message可以被多个订阅message 所在的topic的每一个Consumer Gr转载 2017-12-25 14:56:20 · 23255 阅读 · 0 评论 -
彻底删除Kafka中的topic(转)
转载自:http://blog.csdn.net/fengzheku/article/details/50585972 1、删除kafka存储目录(server.properties文件log.dirs配置,默认为"/tmp/kafka-logs")相关topic目录2、Kafka 删除topic的命令是: ./bin/kafka-topics --delete转载 2017-12-25 14:15:47 · 266 阅读 · 0 评论 -
Kafka集群搭建详细步骤
Kafka集群搭建1、 Kafka的安装需要java环境,cent os 7自带java1.6版本,可以不用重新安装,直接使用自带的jdk 即可;如果觉得jdk版本太旧,也可以自己重新安装;2、 准备好kafka安装包,官网下载地址: http://kafka.apache.org/downloads.html3、 下载好kafka安装包后,将其解压到/usr/loca转载 2017-12-25 14:07:23 · 211 阅读 · 0 评论 -
kafka常用命令(转)
Kafka常用命令以下是kafka常用命令行总结: 1.查看topic的详细信息 ./kafka-topics.sh -zookeeper 127.0.0.1:2181 -describe -topic testKJ1 2、为topic增加副本 ./kafka-reassign-partitions.sh -zookeeper 127.0.0.1:2转载 2017-12-25 13:48:58 · 222 阅读 · 0 评论 -
Kafka消费组(consumer group)(转)
转载自:http://www.cnblogs.com/huxi2b/p/6223228.html 一直以来都想写一点关于kafka consumer的东西,特别是关于新版consumer的中文资料很少。最近Kafka社区邮件组已经在讨论是否应该正式使用新版本consumer替换老版本,笔者也觉得时机成熟了,于是写下这篇文章讨论并总结一下新版本consumer的些许设计理念,希望能把转载 2017-12-25 13:43:30 · 1505 阅读 · 0 评论 -
Kafka学习(二):Kafka的基本结构和概念
一.Kafka中的核心概念Producer: 特指消息的生产者Consumer :特指消息的消费者Consumer Group :消费者组,可以并行消费Topic中partition的消息Broker:缓存代理,Kafa 集群中的一台或多台服务器统称为 broker。Topic:特指 Kafka 处理的消息源(feeds of mes转载 2017-12-24 22:41:04 · 346 阅读 · 0 评论 -
kafka学习(四)-Topic & Partition
标签:topic中partition存储分布Topic在逻辑上可以被认为是一个queue。每条消费都必须指定它的topic,可以简单理解为必须指明把这条消息放进哪个queue里。为了使得 Kafka的吞吐率可以水平扩展,物理上把topic分成一个或多个partition,每个partition在物理上对应一个文件夹,该文件夹下存储 这个partition的所有消息和索引文件。p转载 2017-12-24 22:34:15 · 828 阅读 · 0 评论 -
Kafka入门经典教程
问题导读1.Kafka独特设计在什么地方?2.Kafka如何搭建及创建topic、发送消息、消费消息?3.如何书写Kafka程序?4.数据传输的事务定义有哪三种?5.Kafka判断一个节点是否活着有哪两个条件?6.producer是否直接将数据发送到broker的leader(主节点)?7.Kafa consumer是否可以消费指定分区消息?8.Kafka消息是转载 2017-12-24 22:15:43 · 169 阅读 · 0 评论 -
kafka总结
本文是我在学习kafka的过程中的一些随笔笔记,拿出来跟大家分享一下,后续我会继续更新。大家如果想了解kafka的一些知识:http://blog.csdn.net/xiaoyu_BD/article/category/63774271.Consumer 的group 是在消费者里创建的,当使用不新的gropuid消费时,会在zk中注册新的gropuid,新的group转载 2017-12-24 22:13:52 · 164 阅读 · 0 评论 -
Kafka Consumer API 的使用
导读Kafka具有两套消费者API:高级API、低级API。本文章将介绍两种API的区别以及使用时需要注意的地方。低级API1. 使用方法find leader brokerbuild requestfetch dataidentify leader change2. 为什么要find leaderkafka在0.8版本后,引入replication机制。每个partitio转载 2018-01-05 14:25:19 · 1643 阅读 · 0 评论