kafka
文章平均质量分 89
浅汐王
这个作者很懒,什么都没留下…
展开
-
kafka broker Leader -1引起spark Streaming不能消费
一、问题描述:Kafka生产集群中有一台机器cdh-003由于物理故障原因挂掉了,并且系统起不来了,使得线上的spark Streaming实时任务不能正常消费,重启实时任务都不行。查看kafka topic状态,发现broker Leader出现-1的情况,如下图二、问题分析Kafka Broker Leader 为-1,表示有partition在选举Leader的时候失败了,因此引...原创 2019-12-25 00:41:34 · 259 阅读 · 0 评论 -
Kafka 0.8升级至0.10消费时做出的改动
Kafka 0.8版本升级为0.10版本时,消费代码需要做出一些修改,如下:Kafka 0.8版本:val kafkaParams = Map[String, String]( "metadata.broker.list" -> kafka_ip, //此处为kafka对应的IP "refresh.leader.backoff.ms" -> "30000")val...原创 2019-12-16 23:20:30 · 163 阅读 · 0 评论 -
kafka介绍及安装测试
1.kafka的下载: kafka的官网:http://kafka.apache.org/downloads.html2.kafka的目录介绍: /bin 操作kafka的可执行脚本,还包含windows下脚本 /config 配置文件所在目录 /libs 依赖库目录 /logs 日志数据目录,目录kafka把server端日志分为5种类型,分为:server,request,state,原创 2017-10-07 15:50:31 · 361 阅读 · 0 评论 -
kafka使用high api如何确保不丢失消息,不重复发送,消息只读取一次
首先说明,Kafka 的设计就是 at-least-once 的那么,如何确保非极端环境下,Kafka 不丢数据,以及 Kafka 集群尽可能稳定呢?Producer 端设置 ack 为 all(或者说尽可能越多越好,但实际生产里集群实例过多,这样设置会影响性能,因此根据具体情况来定),即 确保所有 replication 都拿到数据的时候,send 方法才得以返回,以此来判断数据转载 2017-12-10 22:00:23 · 1911 阅读 · 0 评论 -
log4j输出日志到flume
Log4JAppender和LoadBalancingLog4jAppender可以将应用服务器的日志通过AvroSource实时的把日志传输到日志服务器,然后在传输到监控系统或者是HDFS中存储,FLume的Log4JAppender和LoadBalancingLog4jAppender必须使用Log4j的异步加载器,否则日志服务器down机,将会导致应用服务器异常,影响线上环境的使用。 应原创 2017-12-11 19:36:08 · 237 阅读 · 0 评论 -
Kafka设计与原理详解
一、Kafka简介本文综合了我之前写的kafka相关文章,可作为一个全面了解学习kafka的培训学习资料。12转载请注明出处 : 本文链接1.1 背景历史当今社会各种应用系统诸如商业、社交、搜索、浏览等像信息工厂一样不断的生产出各种信息,在大数据时代,我们面临如下几个挑战:如何收集这些巨大的信息如何分析它如何及时做到如上两点以上几个挑战形成了一个业务需求模型,即生产者生产(produce)各种信...原创 2018-03-06 23:29:06 · 229 阅读 · 0 评论 -
kafka之server.properties配置文件参数说明
每个kafka broker中配置文件server.properties默认必须配置的属性如下:[java] view plain copybroker.id=0 num.network.threads=2 num.io.threads=8 socket.send.buffer.bytes=1048576 socket.receive.buffer.bytes=1048576 socke...原创 2018-03-06 23:30:14 · 488 阅读 · 0 评论 -
kafka性能调优
主要优化原理和思路kafka是一个高吞吐量分布式消息系统,并且提供了持久化。其高性能的有两个重要特点:利用了磁盘连续读写性能远远高于随机读写的特点; 并发,将一个topic拆分多个partition。要充分发挥kafka的性能,就需要满足这两个条件kafka读写的单位是partition,因此,将一个topic拆分为多个partition可以提高吞吐量。但是,这里有个前提,就是不同...转载 2018-03-06 23:31:00 · 267 阅读 · 0 评论 -
Kafka核心概念以及监控的选择
1.核心概念:bin/kafka-topics.sh --create \--zookeeper 192.168.137.141:2181,192.168.137.142:2181,192.168.137.143:2181/kafka \--replication-factor 3 --partitions 3 --topic ruozedataTopic: ruozedat...原创 2019-04-07 18:18:46 · 206 阅读 · 0 评论