kafka
文章平均质量分 95
kafka
苍煜
这个作者很懒,什么都没留下…
展开
-
KAFKA-05-kafkaspringboot集成
文章目录1:引入依赖2:配置application.properties1:常规配置2:全部配置含义3:hello kakfa-简单应用1:简单生产者2:简单消费者3:测试结果4:生产者1:带回调的生产者2:事务提交5:消费者1、指定topic、partition、offset消费2、批量消费3:ConsumerAwareListenerErrorHandler 异常处理器4:消费者&生产者--消息转发5:消息拦截器6、定时启动、停止监听器1:引入依赖<parent>原创 2022-05-11 01:29:57 · 134 阅读 · 0 评论 -
KAFKA-04-kafka高级API使用
文章目录1:offset自动控制1:消费者自动提交offset2:手动提交3:指定offset消费2:Ackes应答和Retores重试3:幂等写4:生产者事务1:生产者事务2:消费者事务5:消费者&生产者事务1:offset自动控制Kafka消费者默认对于未订阅的topic的offset的时候,也就是系统并没有存储该消费者的消费分区的记录信息,默认Kafka消费者的默认首次消费策略:latestauto.offset.reset=latestearliest - 自动将偏移量重置为最早的原创 2022-05-10 15:01:01 · 469 阅读 · 0 评论 -
KAFKA-03-kafka基本API使用
文章目录1:topic操作api1:pom.xml导包2:创建topic3:查看topic列表4:查看topic详情5:删除topic2:生产者和消费者1:生产者1:普通异步发送2:带回调函数的异步发送3:同步发送4:prop参数名称 描述2:消费者1:消费者组初始化流程2:参数名称 描述3:订阅主题4:订阅分区3:自定义分区1:系统默认分区策略2:自定义分区策略1:分区策略默认实现Partitioner2:使用自定义分区策略4:序列化(重要)1:系统默认的序列化器2:自定义序列化1:自定义序列化器2:自定原创 2022-05-10 14:29:54 · 651 阅读 · 0 评论 -
KAFKA-02-kafka单机和集群的安装和使用详解
1:环境准备1:jdk1.8安装1:检查系统中是否已经安装过openjdk,如果有将其删除rpm -qa | grep javayum remove -y java-*2:将jdk上传到主机,并解压缩到指定目录 /usr/localtar zxvf jdk-11.0.12_linux-x64_bin.tar.gz -C /usr/local/3:配置环境变量并刷新#编辑配置文件vi /etc/profile#写入如下内容export JAVA_HOME=/usr/local/j原创 2022-05-10 00:49:53 · 875 阅读 · 0 评论 -
KAFKA-01-kafka工作原理
文章目录1:kafka定义2:kafka架构和分区1:kafka集群以topic形式管理集群2:topic分区3:分区与日志3:kafka消费组1:消费者2:消费组4:kafka中的名词概念5:kafka高性能-写入性能提升1:顺序写入2:mmap6:kafka高性能-读取性能提升1:传统IO操作2:DMA操作3:zeroCopy-零拷贝技术1:kafka定义Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可原创 2022-05-09 16:54:02 · 274 阅读 · 0 评论 -
MQ概念和技术选型
文章目录1:什么是mq2:mq技术选型对比ActiveMQKafkaRocketMQRabbitMQ1:什么是mq是指利用高效可靠的消息传送机制进行与平台无关的数据交流,并基于数据通信来进行分布式的集成;通过消息传递和消息排队模型在分布式环境下提供应用解耦,弹性伸缩,荣誉存储、流量削峰、异步通信、数据同步等功能;大致流程:发送者把消息发送给消息服务器,消息服务器把消息放在若干队列/主题(topic)中,在合适的时候,消息服务器将消息发送给接受者;注:队列像是短信,主题类似公众号;在这个过程中,发原创 2022-05-09 15:42:03 · 1350 阅读 · 0 评论