![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Kafka
文章平均质量分 66
小财迷,嘻嘻
这个作者很懒,什么都没留下…
展开
-
Kafka性能优化
目录1、消费者参数优化1.1 enable.auto.commit1.2 auto.offset.reset1.3 session.timeout.ms1.4 max.partition.fetch.bytes1.5 fetch.min.bytes1.6 fetch.max.wait.ms1.7 receive.buffer.bytes + send.buffer.bytes1.8 client.id2、生产者参数优化2.1 bootstrap.servers2.2 acks2.3 buffer.memor原创 2021-01-19 22:43:59 · 685 阅读 · 0 评论 -
Kafka使用--IDEA创建生产者和消费者(Scala版本)
1、项目依赖本项目采用 Maven 构建,想要调用 Kafka 生产者 API,需要导入 kafka-clients 依赖,如下:<dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>2.0.0</version></dependency>2、生产原创 2021-01-19 21:32:16 · 984 阅读 · 0 评论 -
kafka环境安装及查看目录结构
1、Kafka 环境安装1.上传及解压tar zxvf /opt/software/kafka_2.11-0.11.0.2.gz -C /opt/install/2.创建软连接和环境变量[可选]cd /opt/install/ln -s kafka_2.11-0.11.0.2/ kafkavi /etc/profile----------------------------# KAFKAexport KAFKA_HOME=/opt/install/kafkaexport PATH=$原创 2021-01-18 17:32:31 · 2298 阅读 · 0 评论 -
Kafka数据写入Hbase (含设计模式简单使用)
设计模式详解可以看菜鸟教程:https://www.runoob.com/design-pattern/singleton-pattern.html我们将kafka的数据写进HBase中,都是在一个main方法中的,这显然是个小白做法,下面我们用设计模式实现,降低依赖,降低耦合,增加代码的可重用性。pom依赖: <dependency> <groupId>org.apache.kafka</groupId> <artifactId>原创 2021-01-15 12:23:06 · 1169 阅读 · 0 评论 -
Flume+Kafka+Kafka Stream
目录1、Flume–>Kafka TopicA1.1 启动Zookeeper和Kafka1.2 创建主题1.3 配置Flume1.4 启动Flume1.5 测试2、TopicA–>TopicB2.1 编写代码2.2 启动消费者监控TopicBFlume采集数据到Kafka的TopicA,再使用Kafka Stream将TopicA的数据进行某些逻辑处理后再写入TopicB。案例一:现有一张表user_friends,表结构如下,去掉表头,使用flume将内容写进Kafka的TopicA,将第原创 2020-12-23 19:51:38 · 320 阅读 · 1 评论 -
Kafka Stream简介及基本运用(含案例)
参考博客:1、Kafka Stream背景1.1 Kafka Stream是什么Kafka Streams是一套客户端类库,它可以对存储在Kafka内的数据进行流式处理和分析。1.2 什么是流式计算流式计算:输入是持续的,一般先定义目标计算,然后数据到来之后将计算逻辑应用于数据,往往用增量计算代替全量计算。批量计算:一般先有全量数据集,然后定义计算逻辑,并将计算应用于全量数据。特点是全量计算,并且计算结果一次性全量输出。1.3 为什么要有Kafka Stream开源流式处理系统有:Spa原创 2020-12-23 19:09:30 · 15472 阅读 · 7 评论 -
Flume整合Kafka
目录1、背景2、整合流程2.1 启动Zookeeper和Kafka2.2 创建主题2.3 启动Kafka消费者2.4 配置Flume2.5 启动Flume2.6 测试1、背景为什么要使用Flume + Kafka ?以实时流处理项目为例,由于采集的数据量可能存在峰值和峰谷,假设是一个电商项目,那么峰值通常出现在秒杀时,这时如果直接将 Flume 聚合后的数据输入到 Storm 等分布式计算框架中,可能就会超过集群的处理能力,这时采用 Kafka 就可以起到削峰的作用。Kafka 天生为大数据场景而设计原创 2020-12-16 19:37:17 · 590 阅读 · 0 评论 -
kafka环境搭建及队列的简单使用
目录1、前置条件2、安装步骤2.1 下载并安装2.2 配置环境变量2.3 修改配置2.4 启动3、队列的简单使用3.1 创建队列3.2 查看队列3.3 查看队列详情3.4 删除队列3.5 创建生产信息3.6 创建消费信息1、前置条件zookeeper环境搭建2、安装步骤2.1 下载并安装下载所需版本的kafka,本文选择版本:kafka_2.11-2.0.0.tgz下载地址:http://kafka.apache.org/downloads这里解释一下 kafka 安装包的命名规则:以 kaf原创 2020-12-02 19:09:08 · 605 阅读 · 0 评论 -
Kafka使用--IDEA创建生产者和消费者(Java版本)
目录1、项目依赖2、生产者2.1 创建生产者2.2 测试3、消费者3.1 消费者和消费者群组3.2 分区再均衡3.3 创建消费者1、项目依赖本项目采用 Maven 构建,想要调用 Kafka 生产者 API,需要导入 kafka-clients 依赖,如下:<dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId>原创 2020-12-07 18:49:45 · 1137 阅读 · 0 评论