![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Kafka
我在北国不背锅
致力于AI大模型、Java、大数据、运维及各类计算机技术为一体的知识架构
展开
-
Docker部署Kafka
一.镜像拉取docker pull wurstmeister/zookeeperdocker pull wurstmeister/kafka二.定义docker-compose.ymlversion: '3'services: zookeeper: image: wurstmeister/zookeeper ports: - "2181:2181" kafka: image: wurstmeister/kafka depends_on: [ z原创 2021-04-19 11:17:18 · 1279 阅读 · 0 评论 -
Kafka性能优化及性能测试
目的:充分发挥kafka在低时延,高吞吐等不同场景下的优势。参数配置:1)提升吞吐量2)保证低时延3)保证高持久4)相关参数设置说明1、内存缓冲的大小:buffer.memoryKafka的客户端发送数据到服务器,一般都是要经过缓冲的,也就是说,你通过KafkaProducer发送出去的消息都是先进入到客户端本地的内存缓冲里,然后把很多消息收集成一个一个的Batch,再发送到Broker上去的。所以这个“buffer.memory”的本质就是用来约束KafkaProducer能够使用原创 2020-11-20 15:32:56 · 3574 阅读 · 0 评论 -
物联网数据接入之EMQ免费开源版桥接Kafka(数据保存到Kafka)
架构设计:如使用EMQ企业版,企业版支持数据转发Kafka的插件,但企业版收费。现需要使用代码的方式将EMQ接收的数据转发到Kafka。设备模拟:使用MQTTX模拟设备采集装置向EMQ发送数据:EMQ准备:EMQ安装部署,部署好之后大致就是这个样子的:这里EMQ不需要做任何操作,也不需要提前创建topic等。代码实现EMQ数据转发Kafka首先导入以下maven依赖:<!--mqtt--><dependency> <groupId>o原创 2020-09-02 16:12:10 · 6614 阅读 · 1 评论 -
Kafka生产者参数优化
在实际的kafka开发中,我们会发现,无论是生产者还是消费者,都需要构建一个Properties对象,里面设置了很多参数。在这段代码中有很多常用的参数配置,在线上使用时,我们要根据实际的数据量和数据大小来决定这些配置的具体值。下面来挑出其中比较重要的几个参数来详细解析一下。Properties props = new Properties();//集群地址,多个服务器用","分隔props.put("bootstrap.servers", "192.168.72.141:9092,192.168.7原创 2020-09-02 15:38:07 · 2640 阅读 · 0 评论 -
Kafka介绍、安装及使用
Apache Kafka 企业级消息队列1.课程目标理解 Apache Kafka是什么掌握Apache Kafka的基本架构搭建Kafka集群掌握操作集群的两种方式熟悉Apache Kafka原理Apache Kafka原理-分片与副本机制Apache Kafka原理-消息不丢失机制Apache Kafka原理-消息存储及查询机制Apache Kafka原理-生产者数据分发策略Apache Kafka原理-消费者的负载均衡机制2.Apache Kafka原创 2020-06-10 16:18:00 · 2669 阅读 · 0 评论 -
使用kafka connect将MySQL数据导入kafka
1、kafka1.0版本以上(bin目录包含connect,conf目录包含connect)2、下载kafka-connect-jdbc插件https://www.confluent.io/hub/解压得到以下目录结构:3、将插件中lib里面的jar文件提取出来,放到kafka的libs目录4、复制Java的MySQL驱动包到kafka的libs目录5、将kafka-connect-jdbc中etc目录下文件复制到kafka的config目录下,并修改为connect-mysql-sourc原创 2020-06-10 16:02:52 · 4824 阅读 · 0 评论 -
Java分批写入大量数据到kafka,sparkStreaming实时消费kafka,完成数据下沉(Hive到Hive数据迁移/同步)
最近遇到这样的一个场景:存在两个Hadoop集群,需要将一个集群中的hive数据传输到另一个集群的hive中。且源端hive为其他公司数据源,涉及到的一定的安全和保密性。现大致思路为:Java读取源端hive—>我司kafka—>sparkStreaming读取kafka—>目标端hive代码示例:Java获取其他公司hive表数据:package com.zhbr....原创 2020-03-31 11:33:55 · 4763 阅读 · 6 评论 -
数据库(MySQL)实时同步数据到kafka
参考:(1)基于Spark Streaming + Canal + Kafka对Mysql增量数据实时进行监测分析https://blog.csdn.net/github_39577257/article/details/88661052(2)MySQL数据实时增量同步到Kafka - Flumehttps://www.cnblogs.com/yucy/p/7845105.html(3)...原创 2019-11-13 17:53:11 · 5864 阅读 · 0 评论 -
Spark读取Kafka两种方式的详细说明
Spark读取kafka的两种方式spark streaming提供了两种获取方式,一种是同storm一样,实时读取缓存到内存中;另一种是定时批量读取。这两种方式分别是:Receiver-baseDirectReceiver-base:Spark官方最先提供了基于Receiver的Kafka数据消费模式。不过这种方式是先把数据从kafka中读取出来,然后缓存在内存,再定时处理。如果...转载 2019-11-04 11:07:32 · 5501 阅读 · 0 评论 -
Flume实时采集日志数据写入到Kafka
一、为flume构建agent先进去flume下的配文件夹里面 (此处我的配置文件夹名字为:myconf) 编写构建agent的配置文件(命名为:flume2kafka.conf)flume2kafka.conf# 定义这个agent中各组件的名字a1.sources = r1a1.sinks = k1a1.channels = c1 # 描述和配置source组件:r1a1...原创 2019-11-01 17:53:24 · 11405 阅读 · 3 评论