MQ-kafka
文章平均质量分 52
踏实IT精英
这个作者很懒,什么都没留下…
展开
-
Kafka学习(十一)--高级篇-kafka数据文件存储-可靠性保证-ISR核心知识
一.Kafka数据存储流程和log日志讲解1.Kafka 采取了分片和索引机制,将每个partition分为多个segment,每个segment对应2个文件 log 和 index.2.新增备注index文件中并没有为每一条message建立索引,采用了稀疏存储的方式每隔一定字节的数据建立一条索引,避免了索引文件占用过多的空间和资源,从而可以将索引文件保留到内存中缺点是没有建立索引的数据在查询的过程中需要小范围内的顺序扫描操作3.配置文件 server.properties# The ma原创 2022-03-31 22:32:26 · 741 阅读 · 0 评论 -
Kafka学习(十)--Kafka消费者Consumer消费消息配置实战
一. Kafka消费者Consumer消费消息配置实战配置: public static Properties getProperties() { Properties props = new Properties(); //broker地址 props.put("bootstrap.servers", "ip:9092"); //消费者分组ID,分组内的消费者只能消费该消息一次,不同分组内的消费者可以重复消费该消息原创 2022-03-31 22:26:13 · 1609 阅读 · 0 评论 -
Kafka学习(九)--Consumer配置讲解和Kafka调试日志配置
一.Consumer配置讲解和Kafka调试日志配置1.1 springboot关闭kafka调试日志#yml配置文件修改logging: config: classpath:logback.xml #logback.xml内容<configuration> <appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender"> <encoder class="ch原创 2022-03-31 22:14:29 · 1669 阅读 · 0 评论 -
kafka学习(八)--Kafka核心API消费者模块
一.【面试】Consumer消费者机制和分区策略讲解《上》1.1. Kafka的Consumer消费者机制和分区策略讲解消费者根据什么模式从broker获取数据的?为什么是pull模式,而不是broker主动push?消费者采用 pull 拉取方式,从broker的partition获取数据pull 模式则可以根据 consumer 的消费能力进行自己调整,不同的消费者性能不一样如果broker没有数据,consumer可以配置 timeout 时间,阻塞等待一段时间之后再返回如果是bro原创 2022-03-31 22:06:03 · 414 阅读 · 0 评论 -
Kafka学习(七)--生产者自定义partition分区规则
一.producer生产者发送指定分区实战创建topic,配置5个分区,1个副本发送代码@Test public void testSendWithCallbackAndPartition(){ Properties props = getProperties(); Producer<String, String> producer = new KafkaProducer<>(props); for (int i =原创 2022-03-31 19:31:23 · 2116 阅读 · 0 评论 -
kafka学习(六)
一.Kafka核心API模块-producer API讲解实战1.1 封装配置属性public static Properties getProperties(){ Properties props = new Properties(); props.put("bootstrap.servers", "ip:9092"); //props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "ip:9092");原创 2022-03-31 19:06:50 · 1460 阅读 · 0 评论 -
Kafka学习(五)
一.生产者发送到Broker分区策略和常见配置讲解生产者发送到broker里面的流程是怎样的呢,一个 topic 有多个 partition分区,每个分区又有多个副本1.如果指定Partition ID,则PR被发送至指定Partition (ProducerRecord)2.如果未指定Partition ID,但指定了Key, PR会按照hash(key)发送至对应Partition3.如果未指定Partition ID也没指定Key,PR会按照默认 round-robin轮训模式发送到每个Par原创 2022-03-31 18:54:15 · 1243 阅读 · 0 评论 -
Kafka学习(四)
一. SpringBoot2.X项目整合-Kafka核心API-Admin实战1.1 新版SpringBoot2.X项目搭建整合Kafka客户端新版SpringBoot2.X介绍:官网Github地址官方文档相关软件环境和作用JDK1.8+以上Maven3.5+编辑器IDEA(旗舰版)在线创建在SpringBoot整合kafka很简单:添加依赖 kafka-clients<dependency> <groupId>org.apache.kafk原创 2022-03-31 18:42:33 · 776 阅读 · 0 评论 -
Kafka学习(三)
一.Kafka命令行生产者发送消息和消费者消费消息实战创建topic./kafka-topics.sh --create --zookeeper ip:2181 --replication-factor 1 --partitions 2 --topic xdclass-topic查看topic./kafka-topics.sh --list --zookeeper ip:2181生产者发送消息/kafka-console-producer.sh --broker-list ip:9092原创 2022-03-31 15:27:47 · 712 阅读 · 0 评论 -
Kafka学习(二)
一. 急速部署-Kafka相关环境准备和安装JDK81.1 需要的软件和环境版本说明kafka-xx-yy:xx 是scala版本,yy是kafka版本(scala是基于jdk开发,需要安装jdk环境)下载地址zookeeper:Apache 软件基金会的一个软件项目,它为大型分布式计算提供开源的分布式配置服务、同步服务和命名注册.下载地址JDK8步骤:1.上传安装包(zk、jdk、kafka)2.安装jdk:3.配置全局环境变量4.解压:tar -zxvf jdk-8u181-原创 2022-03-29 01:44:59 · 1254 阅读 · 0 评论 -
Kafka学习(一)
一.分布式流处理平台Kafka快速认知kafka的核心是一种高吞吐量的分布式流处理平台,它可以处理消费者在网站中的所有动作流数据。比如 网页浏览,搜索和其他用户的行为等,应用于大数据实时处理领域。快速认识概念:Broker:Kafka的服务端程序,可以认为一个mq节点就是一个broker. broker存储topic的数据Producer生产者:创建消息Message,然后发布到MQ中,该角色将消息发布到Kafka的topic中Consumer消费者:消费队列里面的消息。**Broker:类比原创 2022-03-29 00:12:42 · 613 阅读 · 0 评论