yiguang_820的博客

消息队列 activemq

第一部分：kafka优势 请说明什么是Apache Kafka? Apache Kafka是由Apache开发的一种发布订阅消息系统，它是一个分布式的、分区的日志服务。 kafka主要特征（kafka的高可用机制是什么？） kafka将消息保存在磁盘中，以顺序读写的方式访问磁盘，从而避免了随机读写磁盘导致的性能瓶颈 kafka支持批量读写消息，并且对消息批量压缩，提高了网络利用率和压缩...

目录： 下载 上传 解压 配置环境变量 修改配置文件 修改config/zookeeper.properties文件 修改config/server.properties文件 启动 验证 详细步骤： 下载地址：官网下载地址 上传 解压到/home目录下 配置环境变量 vi /etc/profile 最后添加两行 export KAFKA_HOME=/home...

https://blog.csdn.net/u010343544/article/details/78427345

目录： 日志 索引文件（segment file） 数据文件（message file） 一.日志 kafak在我们指定的log.dirs目录下，会创建一些文件夹（segment（字段、段、片）file） 由主题名-分区名组成的文件夹。 分区文件夹由两部分组成： 0000000000000000000.index segment索引文件 000000000000...

目录： 操作流程： 创建一个maven项目，项目结构目录 生产者代码（往主题test-1，key为139开头的号码（此号码属于移动）生产消息，并在参数配置中使用自定义分区） 消费者代码（消费主题test-1的消息） 自定义分区类（作用：根据手机号码类型分区：联通号的消息放到分区0，移动号的消息放到分区1，电信号的消息放到分区2） 开启zookeeper和kafka 使用ka...

目录： 如何在某个主题下的某个分区拿数据（假设my-topic有3个分区） 为什么要自定义分区 自定义分区操作流程 创建自定义类，实现org.apache.kafka.clients.producer.Partitioner接口 重写public int partition方法 配置项中加入partitioner.class属性 一.在某个主题的特定分区拿数据 生产者生产的数...

目录： 为什么要手动提交 什么是手动提交 一.为什么要手动提交 问题一：已经消费的数据对于kakfa来说，会将该消费组里面的offset值进行修改。什么时候去修改的？ 当数据被消费者拿去之后就自动提交，而不关注消费者是否成功消费，如果消费者端出现故障，就会导致此条数据没有被消费，继续运行就会导致此数据丢失 如果消费者成功消费此数据，而在提交的过程的出现故障，会导致再次发送此数据到消...

目录： 使用properties文件的好处 方便修改配置参数 流程 项目结构 生产者代码 消费者代码 producer.properties PropertiesUtil.java 测试 改进：测试项目中的消费者代码中的参数配置同理可以用properties文件替代 一.详细步骤： 1.创建一个maven项目，项目结构 2.生产者代码 package ka...

目录： 官方文档 测试 生产者代码 消费者代码 问题：参数配置能不能换一种简便的方法来替代？ 一.官方文档 地址：http://kafka.apachecn.org/，找到安装的版本的对应文档，本人是用的版本是0.10.0.1 二.测试 1.创建项目 2.添加依赖包 pom.xml <project xmlns="http://maven.apach...

目录： 集群搭建的好处：高可用 集群搭建的方式及步骤 生产：多台服务器搭建kafka集群，未实践（可以使用虚拟机搭建：https://www.jianshu.com/p/5297773fcc1b） 下载zookeeper、kafka，并安装 配置 启动 开发：一台服务器搭建kafka集群（windwos服务器下单机搭建） 开启zookeepr集群 下载ka...

目录： 部署步骤： 下载zookeeper压缩包，安装 配置 开启 遇到的问题： ZooKeeper异常之无法找到myid文件以及创建myid文件 一.详细步骤 1.下载：下载zookeeper压缩包，将解压的zookeeper-3.4.12复制两份，如下 2.配置： 2.1. 找到conf文件下的zoo_sample.cfg，复制后改名称为zoo.cfg（3份都修改...

说明：windows下操作 Kafka 中文官方文档：http://kafka.apachecn.org/documentation.html#gettingStarted 目录： 架构 broker 主题 分区 生产者 消费者 副本因子 工作流程 集群搭建 代码开发 复制原理 ISR 数据丢失与重复的解决方式 kafka消息传输保障 kafka可视化...

摘要：本文主要说明了如何在Windows安装运行Kafka 目录： 安装JDK 安装zookeeper 安装kafka 测试 创建主题 创建生产者 创建消费者 一、安装JDK 过程比较简单，这里不做说明。 最后打开cmd输入如下内容，表示安装成功 二、安装zookeeper 下载安装包：http://zookeeper.apache.org/rele...