消息中间件
F道人
若目标是远方,便只顾风雨兼程!
展开
-
kafka基础学习(六):kafka 代码示例
kafka 代码示例生成者API在不同版本间无较大变动;消费者(Consumer)提供了两套API低版本(8.0版本及其以前)API高版本(8.0版本后)API两种API的优缺点:高版本Consumer API 优点:高级API写起来简单,易用。不需要自行去管理offset,API已经封装好了offset这块的东西,会通过zookeeper自行管理不需要管理分区,副本等情况,系统自动管理消费者断线后会自动根据上次记录在zookeeper中的offset接着消费消息。高版本Cons原创 2020-08-20 15:05:00 · 2101 阅读 · 0 评论 -
kafka基础学习(五):kafka如何保证数据可靠性和数据一致性
kafka如何保证数据可靠性和数据一致性数据可靠性下面从以下几个角度来介绍kafka如何保证数据的可靠性。Producter 往 Broker 发送消息Topic 分区副本Leader 选举1. Producer 往 Broker 发送消息ack机制:Kafka 在 Producer 里面提供了消息确认机制。也就是说我们可以通过配置来决定有几个副本收到这条消息才算消息发送成功。定义 Producer 时通过 acks 参数指定(在 0.8.2.X 版本之前是通过 request.requ原创 2020-08-20 14:59:54 · 2236 阅读 · 0 评论 -
kafka基础学习(四):kafka运行原理与文件存储机制
kafka运行原理与文件存储机制一:运行原理kafka中消息是以Topic进行分类的,生产者生产消息,消费者消费消息,都是面向Topic。Partition分为Leader和Follower两种角色,Producer和Consumer都是面向Leader生成消费消息,Follower做数据备份以及kafka高可用的保证(Leader宕机)。Leader和Follower 位于不同的节点。工作的只有Leader。Topic是逻辑概念,Partition是物理概念,用于存储数据,数据存储是原创 2020-08-20 14:57:59 · 223 阅读 · 0 评论 -
kafka基础学习(三):kafka常见命令集
kafka常见命令集kafka的命令行操作不常使用(运维除外),常用语kafka环境搭建成功后,来测试kafka是否能正常运行。参考:https://www.cnblogs.com/toutou/p/kafka_command.html一:Topic相关命令(bin/kafka-topics.sh)查看当前服务器中的所有topic命令格式bin/kafka-topics.sh --zookeeper ZK_IP:ZK_PORT --listZK_IP:ZK_PORT 为管理kafka的zk原创 2020-08-20 14:56:23 · 576 阅读 · 0 评论 -
kafka基础学习(二):安装说明文档
kafka安装手册非Docker安装集群规划hadoop102 hadoop103 hadoop104zk zk zkkafka kafka kafkajar下载下载地址 :http://kafka.apache.org/downloads.html3. 安装部署1)解压安装包tar -zxvf kafka_2.11-0.11.0.0.tgz -C /opt/module/2)修改解压后的文件名称mv kafka_2.原创 2020-08-20 14:53:43 · 222 阅读 · 0 评论 -
kafka基础学习(一):基础知识
kafka基础知识kafka是一个分布式、支持分区的(partition)、多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎,web/nginx日志、访问日志,消息服务等等,用scala语言编写,Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。结构特点:分布式支持分区(partition)多副本基于z原创 2020-08-20 14:49:43 · 244 阅读 · 0 评论