关注
分享
Kafka深入浅出
Michealkz
这个作者很懒，什么都没留下…
展开
-
Kafka Eagle 的安装部署
kafka eagle 官网下载地址http://download.kafka-eagle.org/下载kafka-eagle-bin-1.4.6.tar.gz到机器上解压到目录中进入bin目录,赋予脚本执行权限chmod +x ke.sh[hadoop@bigdata01 bin]$ tree.├── ke.bat├── ke.pid├── ke.sh└── zookeeper....原创 2020-05-20 17:13:42 · 775 阅读 · 0 评论 -
Kafk Manager的编译与安装
源码安装KafkaManager的步骤入下：1.需提前准备的东西：安装kafka-manager时需要安装sbt安装sbt:安装包下载地址：https://www.scala-sbt.org/download.htmlkafkamanager的下载地址：2.步骤解压sbt安装包：tar -zxvf sbt-0.13.18.tgz 进入sbt安装目录：/opt/software/sbt...原创 2019-10-24 19:12:53 · 413 阅读 · 0 评论 -
Kafka+Spark Streaming管理offset
场景描述：Kafka配合Spark Streaming是大数据领域常见的黄金搭档之一，主要是用于数据实时入库或分析。为了应对可能出现的引起Streaming程序崩溃的异常情况，我们一般都需要手动管理好Kafka的offset，而不是让它自动提交，即需要将enable.auto.commit设为false。只有管理好offset，才能使整个流式系统最大限度地接近exactly once语义。Kaf...原创 2019-10-17 16:57:30 · 805 阅读 · 0 评论 -
Kafka 保证消息的不丢失
Kafka保证消息的不丢失主要分为以下三个方面：Kafka集群保证数据的不丢失生产者生产数据保证数据不丢失消费者消费数据保证数据的不丢失Kafka 发送数据的模式：同步发送模式：发出消息后，必须阻塞等待收到通知后，才发送下一条消息异步发送模式：一直往缓冲区写，然后一次性的写到队列中去同步发送模式虽然吞吐量小，但是发一条收到确认后再发下一条，既能保证不丢失消息，又能保证顺序。...原创 2019-09-23 16:59:06 · 2149 阅读 · 0 评论 -
Kafka 是如何保证数据可靠性和一致性
数据可靠性Kafka 作为一个商业级消息中间件，消息可靠性的重要性可想而知。本文从 Producter 往 Broker 发送消息、Topic 分区副本以及 Leader 选举几个角度介绍数据的可靠性。Topic 分区副本在 Kafka 0.8.0 之前，Kafka 是没有副本的概念的，那时候人们只会用 Kafka 存储一些不重要的数据，因为没有副本，数据很可能会丢失。但是随着业务的发展...转载 2019-08-19 20:46:57 · 662 阅读 · 0 评论 -
Kafka 的副本复制机制
让分布式系统的操作变得简单，在某种程度上是一种艺术，通常这种实现都是从大量的实践中总结得到的。Apache Kafka 的受欢迎程度在很大程度上归功于其设计和操作简单性。随着社区添加更多功能，开发者们会回过头来重新思考简化复杂行为的方法。Apache Kafka 中一个更细微的功能是它的复制协议（replication protocol）。对于单个集群上不同大小的工作负载，调整 Kafka re...转载 2019-08-19 20:36:52 · 517 阅读 · 0 评论 -
Kafka 参数调优实战
1、今天给大家聊一个很有意思的话题，大家知道很多公司都会基于Kafka作为MQ来开发一些复杂的大型系统。而在使用Kafka的客户端编写代码与服务器交互的时候，是需要对客户端设置很多的参数的。所以我就见过很多年轻的同学，可能刚刚加入团队，对Kafka这个技术其实并不是很了解。此时就会导致他们看团队里的一些资深同事写的一些代码，会看不懂是怎么回事，不了解背后的含义，这里面尤其是一些Kafka...原创 2020-02-24 22:52:02 · 258 阅读 · 0 评论 -
Kafka 拦截器实践
Producer 拦截器(interceptor)是在 Kafka 0.10 版本被引入的，主要用于实现 clients 端的定制化控制逻辑。 对于 producer 而言，interceptor 使得用户在消息发送前以及producer 回调逻辑前有机会对消息做一些定制化需求，比如修改消息等。同时，producer 允许用户指定多个 interceptor，按序作用于同一条消息从而形成一个拦截链...原创 2019-08-17 13:48:49 · 1114 阅读 · 0 评论 -
Kafka生产者(Producer) API 生产数据
kafka 生产者 Producer 的API 示例过时的API实现新API实现带有回调函数的API实现自定义分区的API实现过时的API实现import kafka.javaapi.producer.Producer;import kafka.producer.KeyedMessage;import kafka.producer.Key...原创 2019-08-15 21:09:31 · 1035 阅读 · 0 评论 -
Kafka 配置文件Server.properties 解析
server.properties 中的内容是：# Licensed to the Apache Software Foundation (ASF) under one or more# contributor license agreements. See the NOTICE file distributed with# this work for additional informa...原创 2019-08-12 21:39:33 · 1353 阅读 · 0 评论