小财迷嘻嘻的博客

目录1、消费者参数优化1.1 enable.auto.commit1.2 auto.offset.reset1.3 session.timeout.ms1.4 max.partition.fetch.bytes1.5 fetch.min.bytes1.6 fetch.max.wait.ms1.7 receive.buffer.bytes + send.buffer.bytes1.8 client.id2、生产者参数优化2.1 bootstrap.servers2.2 acks2.3 buffer.memor

1、项目依赖本项目采用 Maven 构建，想要调用 Kafka 生产者 API，需要导入 kafka-clients 依赖，如下：<dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>2.0.0</version></dependency>2、生产

1、Kafka 环境安装1.上传及解压tar zxvf /opt/software/kafka_2.11-0.11.0.2.gz -C /opt/install/2.创建软连接和环境变量[可选]cd /opt/install/ln -s kafka_2.11-0.11.0.2/ kafkavi /etc/profile----------------------------# KAFKAexport KAFKA_HOME=/opt/install/kafkaexport PATH=$

设计模式详解可以看菜鸟教程：https://www.runoob.com/design-pattern/singleton-pattern.html我们将kafka的数据写进HBase中，都是在一个main方法中的，这显然是个小白做法，下面我们用设计模式实现，降低依赖，降低耦合，增加代码的可重用性。pom依赖： <dependency> <groupId>org.apache.kafka</groupId> <artifactId&gt

目录1、Flume–>Kafka TopicA1.1 启动Zookeeper和Kafka1.2 创建主题1.3 配置Flume1.4 启动Flume1.5 测试2、TopicA–>TopicB2.1 编写代码2.2 启动消费者监控TopicBFlume采集数据到Kafka的TopicA，再使用Kafka Stream将TopicA的数据进行某些逻辑处理后再写入TopicB。案例一：现有一张表user_friends，表结构如下，去掉表头，使用flume将内容写进Kafka的TopicA，将第

参考博客：1、Kafka Stream背景1.1 Kafka Stream是什么Kafka Streams是一套客户端类库，它可以对存储在Kafka内的数据进行流式处理和分析。1.2 什么是流式计算流式计算：输入是持续的，一般先定义目标计算，然后数据到来之后将计算逻辑应用于数据，往往用增量计算代替全量计算。批量计算：一般先有全量数据集，然后定义计算逻辑，并将计算应用于全量数据。特点是全量计算，并且计算结果一次性全量输出。1.3 为什么要有Kafka Stream开源流式处理系统有：Spa

目录1、背景2、整合流程2.1 启动Zookeeper和Kafka2.2 创建主题2.3 启动Kafka消费者2.4 配置Flume2.5 启动Flume2.6 测试1、背景为什么要使用Flume + Kafka ？以实时流处理项目为例，由于采集的数据量可能存在峰值和峰谷，假设是一个电商项目，那么峰值通常出现在秒杀时，这时如果直接将 Flume 聚合后的数据输入到 Storm 等分布式计算框架中，可能就会超过集群的处理能力，这时采用 Kafka 就可以起到削峰的作用。Kafka 天生为大数据场景而设计

目录1、前置条件2、安装步骤2.1 下载并安装2.2 配置环境变量2.3 修改配置2.4 启动3、队列的简单使用3.1 创建队列3.2 查看队列3.3 查看队列详情3.4 删除队列3.5 创建生产信息3.6 创建消费信息1、前置条件zookeeper环境搭建2、安装步骤2.1 下载并安装下载所需版本的kafka，本文选择版本：kafka_2.11-2.0.0.tgz下载地址：http://kafka.apache.org/downloads这里解释一下 kafka 安装包的命名规则：以 kaf

目录1、项目依赖2、生产者2.1 创建生产者2.2 测试3、消费者3.1 消费者和消费者群组3.2 分区再均衡3.3 创建消费者1、项目依赖本项目采用 Maven 构建，想要调用 Kafka 生产者 API，需要导入 kafka-clients 依赖，如下：<dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId>