【大数据】Kafka
Kafka 是一种高吞吐量的分布式发布订阅消息系统
老王的小知识
爱分享的老王
展开
-
Kafka知识点总结
下图所体现出来的知识点:红色字体表示隐藏知识点1、kafka生态系统四大角色:生产者(Producer)、kafka集群(Broker)、消费者(Consumer)、Zookeeper。2、每个消费者都必须属于一个消费组,一个组内的消费者可以有多个。3、一个Topic(主题)可以有1到多个Partition(分区)。4、一个Partition可以有1到多个 segment。5、每个...原创 2020-04-20 22:07:30 · 1843 阅读 · 0 评论 -
Kafka学习(四):Kafka架构详解
学习目标kafka架构介绍kafka架构内部细节剖析kafka架构介绍1、生产者 API允许应用程序发布记录流至一个或者多个kafka的主题 topics(生产数据到topic)。2、消费者 API允许应用程序订阅一个或者多个主题,并处理这些主题接收到的记录流(读取数据,消费数目)。3、StreamsAPI允许应用程序充当流处理器(stream processor),从一...原创 2020-03-18 22:20:03 · 1402 阅读 · 0 评论 -
Kafka集群设置一键启动/一键停止脚本
学习目标创建一键启动 kafka集群创建一键停止 kafka集群创建一键启动 kafka集群进入目录cd /export/servers/kafka_2.11-1.0.0/bin编写一键启动配置文件vim kafka-start-all.sh#!/bin/shfor host in node01 node02 node03do ssh $host "source ...原创 2020-03-18 22:01:58 · 2140 阅读 · 1 评论 -
Kafka学习(三):Kafka集群环境搭建
学习目标初始化环境准备下载安装包并上传解压node01服务器修改 kafka 配置文件安装包分发到其他服务器(node02,node03)node02 与 node03 服务器修改配置文件kafka 集群启动与停止初始化环境准备安装 JDK安装JDK参考链接:安装 Zookeeper ,并保证 zk 服务正常启动安装Zookeeper参考链接:下载安装包并上传解压node01 执...原创 2020-03-18 21:59:01 · 2016 阅读 · 0 评论 -
Kafka学习(二):初识Kafka
学习目标初识KafkaKafka的基本介绍Kafka的好处分布式的发布与订阅系统kafka的主要应用场景初识KafkaKafka的基本介绍官网:http://kafka.apache.org/kafka是一个分布式,分区的,多副本的,多订阅者的消息发布订阅系统(分布式MQ系统),可以用于搜索日志,监控日志,访问日志等。最初由linkedin公司开发,使用scala语言编写。kafka对...原创 2020-03-18 21:58:34 · 1861 阅读 · 0 评论 -
Kafka学习(一):消息队列
学习目标消息队列的介绍消息队列的应用场景消息队列应用场景详解消息队列的两种模式点对点模式发布/订阅的方式企业中离线业务场景,实时业务场景都需要使用到 Kafka。Kafka 具备数据的计算能力和存储能力,但是两个能力相对(MR/SPARK,HDFS)较弱。Kafka 角色的角色与 Hbase 比较像,层级关系比较多。消息队列的介绍消息(Message):是指应用之间传送的数据,或点与点之...原创 2020-03-17 20:31:49 · 2005 阅读 · 0 评论