kafka
文章平均质量分 76
BigDataToAI
分享大数据经验
展开
-
深入理解Kafka Producer内部机制
总的来说,Kafka Producer是将数据发送到kafka集群的客户端。原创 2022-12-09 15:35:03 · 1051 阅读 · 0 评论 -
Kafka基础与核心概念
本文,我们将试图回答什么是apache kafka。kafka是一个分布式流平台或者分布式消息提交日志。原创 2022-11-28 20:26:54 · 680 阅读 · 0 评论 -
一文读懂Kafka Connect核心概念
概览Kafka Connect 是一种用于在 Apache Kafka 和其他系统之间可扩展且可靠地流式传输数据的工具。 它使快速定义将大量数据移入和移出 Kafka 的连接器变得简单。 Kafka Connect 可以摄取整个数据库或从所有应用程序服务器收集指标到 Kafka 主题中,使数据可用于低延迟的流处理。 导出作业可以将数据从 Kafka 主题传送到二级存储和查询系统或批处理系统进行离线分析。Kafka Connect有什么优势:数据中心管道 - 连接使用有意义的数据抽象来拉或推数据到Ka原创 2022-01-10 01:00:12 · 2159 阅读 · 18 评论 -
kafka集群硬件与操作系统部署建议
内存估算您需要足够的内存来缓冲活动的读取器和写入器。 您可以通过假设您希望能够缓冲 30 秒并将您的内存需求计算为 write_throughput*30 来对内存需求进行粗略估计。操作系统Kafka 可以在任何 unix 系统上运行良好,并且已经在 Linux 和 Solaris 上进行了测试。我们已经看到在 Windows 上运行的一些问题,Windows 目前不是一个受支持的平台,尽管我们很乐意改变它。不太可能需要大量的操作系统级调整,但有三个潜在的重要操作系统级配置:文件描述符限制:Ka翻译 2021-12-09 01:45:22 · 325 阅读 · 0 评论 -
kafka中的Sticky分区方法
消息在系统中传输所需的时间对 Apache Kafka® 等分布式系统的性能起着重要作用。 在 Kafka 中,生产者的延迟通常定义为客户端生成的消息被 Kafka 确认所需的时间。 正如一句老话所说,时间就是金钱,为了让系统运行得更快,最好尽可能减少延迟。 当生产者能够更快地发送消息时,整个系统都会受益。每个 Kafka 主题包含一个或多个分区。 当Kafka生产者向主题发送记录时,它需要决定将其发送到哪个分区。 如果我们大约同时向同一个分区发送多条记录,它们可以作为一个批次发送。 处理每个批次需要一些翻译 2021-12-09 01:43:50 · 1685 阅读 · 0 评论 -
kafka log4j日志级别修改,一天生成一个日志文件
kafka的log4j日志默认配置中,有如下配置:log4j.appender.kafkaAppender=org.apache.log4j.DailyRollingFileAppenderlog4j.appender.kafkaAppender.DatePattern='.'yyyy-MM-dd-HH这有什么问题呢,虽然说我们用一天一次的滚动日志,但是我们配置的DataPattern为小时级别的,所以只要每个小时有日志生成,那么每个小时都会生成日志,简单来说就是一个小时一个。这个对于我们日志记录原创 2021-12-07 16:52:49 · 2227 阅读 · 0 评论 -
自己构建kafka镜像进行开发测试,你学会了吗?
前言平常在开发的时候经常需要使用某些软件协同进行功能调试,比如说,在做基于Flink CDC的时候,需要将数据从mysql binlog导入到kafka,然后再导入到hudi数据湖。那么问题就来了,要做这么一件事情,我需要先起一个mysql,一个kafka,一个yarn集群、一个hdfs集群,让整体环境都运行起来了,我才能够使用Flink进行测试和验证。当然,假如你有一个常驻的服务运行上述环境,这些问题就都不是问题了。但是假如说我们只有一台自己的开发主机,那可能就会比较棘手了。要完成上面的任务,我们可原创 2021-10-11 01:02:47 · 387 阅读 · 0 评论 -
kafka基础入门
Apache Kafka是一个事件流平台,其结合了三个关键的功能,使你可以完成端到端的事件流解决方案。发布(写)和订阅(读)事件流,包括从其他系统连续导入/导出数据。事件流存储具有持久性和可靠性。可以处理当前时刻或者以往的事件流。所有这些功能都是以分布式、高度可伸缩、弹性、容错和安全的方式提供的。Kafka是一个分布式系统,由服务端和客户端组成,通过高性能的TCP网络协议进行通信。Kafka可以部署在裸金属硬件、虚拟机和容器上,也可以部署在云上。您可以选择自管理您的Kafka环境和使翻译 2021-10-02 23:38:07 · 151 阅读 · 0 评论 -
kafka-2.8.0单节点安装与启动
主机环境与依赖操作系统:centos7CPU架构:x86_64软件依赖:jdk1.8以及zookeeper3.6.3kafka下载与解压mkdir /data && cd /datawget https://dlcdn.apache.org/kafka/2.8.0/kafka_2.12-2.8.0.tgztar zxvf kafka_2.12-2.8.0.tgzln -s kafka_2.12-2.8.0 kafka配置文件修改# 配置文件备份cp server.pr原创 2021-09-22 22:54:16 · 365 阅读 · 0 评论