![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
MQ-kafka
文章平均质量分 52
踏实IT精英
这个作者很懒,什么都没留下…
展开
-
Kafka学习(十一)--高级篇-kafka数据文件存储-可靠性保证-ISR核心知识
一.Kafka数据存储流程和log日志讲解 1.Kafka 采取了分片和索引机制,将每个partition分为多个segment,每个segment对应2个文件 log 和 index. 2.新增备注 index文件中并没有为每一条message建立索引,采用了稀疏存储的方式 每隔一定字节的数据建立一条索引,避免了索引文件占用过多的空间和资源,从而可以将索引文件保留到内存中 缺点是没有建立索引的数据在查询的过程中需要小范围内的顺序扫描操作 3.配置文件 server.properties # The ma原创 2022-03-31 22:32:26 · 757 阅读 · 0 评论 -
Kafka学习(十)--Kafka消费者Consumer消费消息配置实战
一. Kafka消费者Consumer消费消息配置实战 配置: public static Properties getProperties() { Properties props = new Properties(); //broker地址 props.put("bootstrap.servers", "ip:9092"); //消费者分组ID,分组内的消费者只能消费该消息一次,不同分组内的消费者可以重复消费该消息原创 2022-03-31 22:26:13 · 1626 阅读 · 0 评论 -
Kafka学习(九)--Consumer配置讲解和Kafka调试日志配置
一.Consumer配置讲解和Kafka调试日志配置 1.1 springboot关闭kafka调试日志 #yml配置文件修改 logging: config: classpath:logback.xml #logback.xml内容 <configuration> <appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender"> <encoder class="ch原创 2022-03-31 22:14:29 · 1717 阅读 · 0 评论 -
kafka学习(八)--Kafka核心API消费者模块
一.【面试】Consumer消费者机制和分区策略讲解《上》 1.1. Kafka的Consumer消费者机制和分区策略讲解 消费者根据什么模式从broker获取数据的? 为什么是pull模式,而不是broker主动push? 消费者采用 pull 拉取方式,从broker的partition获取数据 pull 模式则可以根据 consumer 的消费能力进行自己调整,不同的消费者性能不一样 如果broker没有数据,consumer可以配置 timeout 时间,阻塞等待一段时间之后再返回 如果是bro原创 2022-03-31 22:06:03 · 424 阅读 · 0 评论 -
Kafka学习(七)--生产者自定义partition分区规则
一.producer生产者发送指定分区实战 创建topic,配置5个分区,1个副本 发送代码 @Test public void testSendWithCallbackAndPartition(){ Properties props = getProperties(); Producer<String, String> producer = new KafkaProducer<>(props); for (int i =原创 2022-03-31 19:31:23 · 2124 阅读 · 0 评论 -
kafka学习(六)
一.Kafka核心API模块-producer API讲解实战 1.1 封装配置属性 public static Properties getProperties(){ Properties props = new Properties(); props.put("bootstrap.servers", "ip:9092"); //props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "ip:9092");原创 2022-03-31 19:06:50 · 1469 阅读 · 0 评论 -
Kafka学习(五)
一.生产者发送到Broker分区策略和常见配置讲解 生产者发送到broker里面的流程是怎样的呢,一个 topic 有多个 partition分区,每个分区又有多个副本 1.如果指定Partition ID,则PR被发送至指定Partition (ProducerRecord) 2.如果未指定Partition ID,但指定了Key, PR会按照hash(key)发送至对应Partition 3.如果未指定Partition ID也没指定Key,PR会按照默认 round-robin轮训模式发送到每个Par原创 2022-03-31 18:54:15 · 1287 阅读 · 0 评论 -
Kafka学习(四)
一. SpringBoot2.X项目整合-Kafka核心API-Admin实战 1.1 新版SpringBoot2.X项目搭建整合Kafka客户端 新版SpringBoot2.X介绍: 官网 Github地址 官方文档 相关软件环境和作用 JDK1.8+以上 Maven3.5+ 编辑器IDEA(旗舰版) 在线创建 在SpringBoot整合kafka很简单:添加依赖 kafka-clients <dependency> <groupId>org.apache.kafk原创 2022-03-31 18:42:33 · 794 阅读 · 0 评论 -
Kafka学习(三)
一.Kafka命令行生产者发送消息和消费者消费消息实战 创建topic ./kafka-topics.sh --create --zookeeper ip:2181 --replication-factor 1 --partitions 2 --topic xdclass-topic 查看topic ./kafka-topics.sh --list --zookeeper ip:2181 生产者发送消息 /kafka-console-producer.sh --broker-list ip:9092原创 2022-03-31 15:27:47 · 761 阅读 · 0 评论 -
Kafka学习(二)
一. 急速部署-Kafka相关环境准备和安装JDK8 1.1 需要的软件和环境版本说明 kafka-xx-yy:xx 是scala版本,yy是kafka版本(scala是基于jdk开发,需要安装jdk环境) 下载地址 zookeeper:Apache 软件基金会的一个软件项目,它为大型分布式计算提供开源的分布式配置服务、同步服务和命名注册. 下载地址 JDK8 步骤: 1.上传安装包(zk、jdk、kafka) 2.安装jdk: 3.配置全局环境变量 4.解压:tar -zxvf jdk-8u181-原创 2022-03-29 01:44:59 · 1257 阅读 · 0 评论 -
Kafka学习(一)
一.分布式流处理平台Kafka快速认知 kafka的核心是一种高吞吐量的分布式流处理平台,它可以处理消费者在网站中的所有动作流数据。 比如 网页浏览,搜索和其他用户的行为等,应用于大数据实时处理领域。 快速认识概念: Broker:Kafka的服务端程序,可以认为一个mq节点就是一个broker. broker存储topic的数据 Producer生产者:创建消息Message,然后发布到MQ中,该角色将消息发布到Kafka的topic中 Consumer消费者:消费队列里面的消息。** Broker:类比原创 2022-03-29 00:12:42 · 623 阅读 · 0 评论