![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Kafka
关于我转生变成程序猿这档事
这个作者很懒,什么都没留下…
展开
-
【Kafka】实时看板案例
目录项目需求项目模型实现步骤 项目需求 快速计算双十一当天的订单量和销售金额 项目模型 实现步骤 一、创建topic bin/kafka-topics.sh --create --topic itcast_order --zookeeper node01:2181,node02:2181,node03:2181 --partitions 5 --replication-factor 2 ...原创 2020-03-24 15:01:52 · 392 阅读 · 0 评论 -
【Kafka】监控及运维——kafka-eagle
目录简单介绍概述安装部署一、环境要求二、下载源码包并解压三、准备数据库四、修改配置文件五、配置环境变量六、启动kafka-eagle七、成功运行 简单介绍 概述 Kafka-eagle是一个为了简化开发者和服务工程师维护Kafka集群工作的监控管理工具。这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀,或者是分区在整个集群分布不均匀的的情况。它支持管理多个集群、选择副本、副...原创 2020-03-23 22:24:44 · 372 阅读 · 0 评论 -
【Kafka】CAP理论以及CAP定律
目录CAP理论概述ConsistencyAvailabilityPartition Tolerance CAP理论 概述 1988年,加州大学计算机科学家Eric Brewer 提出了分布式系统的三大指标:Consistency、Availability、Partition Tolerance,他指出这三个条件同时最多只能满足两个,目前所有的分布式系统都遵循CAP定律,比如Hadoop、HB...原创 2020-03-23 16:19:34 · 604 阅读 · 1 评论 -
【Kafka】Flume整合Kafka
目录需求一、Flume下载地址二、上传解压Flume三、配置flume.conf四、启动flume五、测试整合 需求 实现flume监控某个目录下面的所有文件,然后将文件收集发送到kafka消息系统中 一、Flume下载地址 http://archive.cloudera.com/cdh5/cdh/5 二、上传解压Flume cd /export/softwares tar -zxv...原创 2020-03-22 23:24:12 · 132 阅读 · 0 评论 -
【Kafka】配置文件说明
目录server.propertiesproducer.propertiesconsumer.properties server.properties # broker的全局唯一编号,不能重复 broker.id=0 # 用来监听链接的端口,producer或consumer将在此端口建立连接 port=9092 # 处理网络请求的线程数量 num.network.threads=3 # ...原创 2020-03-22 22:18:10 · 133 阅读 · 0 评论 -
【Kafka】JavaAPI操作
目录先创建Maven工程导入jar包Producer API 先创建Maven工程导入jar包 帮助文档地址:http://kafka.apachecn.org/documentation.html#api <dependencies> <!-- https://mvnrepository.com/artifact/org.apache.kafka/kafka-clients ...原创 2020-03-22 21:06:57 · 103 阅读 · 0 评论 -
【Kafka】Stream API
Stream API Kafka官方文档给了基本格式 http://kafka.apachecn.org/10/javadoc/index.html?org/apache/kafka/streams/KafkaStreams.html 基础模板 Map<String, Object> props = new HashMap<>(); props.put(Streams...原创 2020-03-22 18:15:31 · 214 阅读 · 0 评论 -
【Kafka】Consumer API
Consumer API Kafka官网文档给了基本格式 http://kafka.apachecn.org/10/javadoc/index.html?org/apache/kafka/clients/consumer/KafkaConsumer.html JavaAPI 模板 自动提交offset Properties props = new Properties(); props.put(...原创 2020-03-22 17:58:37 · 265 阅读 · 0 评论 -
【Kafka】Producer API
Producer API Kafka官网文档给了基本格式 地址:http://kafka.apachecn.org/10/javadoc/index.html?org/apache/kafka/clients/producer/KafkaProducer.html 基础模板 Properties props = new Properties(); props.put("bootstrap.s...原创 2020-03-22 11:13:48 · 172 阅读 · 0 评论 -
【Kafka】数据分区策略
数据分区策略 四种策略 一、指定分区号,数据会直接发送到所指定的分区 二、没有指定分区号,指定了数据的key,可以通过key获取hashCode决定数据发送到哪个分区 三、都没有指定的话,会采取round-robin fashion,是kafka的轮询策略 四、还可以自定义分区策略 四种策略的Java实现 其他的代码都不需要变,只需要更改ProducerRecord()里面的值即可 //既不指定...原创 2020-03-22 11:12:33 · 239 阅读 · 0 评论 -
【Kafka】自定义分区策略
自定义分区策略 Command+Option+shift+N 调出查询页面,找到producer包的Partitioner接口 Partitioner下有一个DefaultPartitioner实现类 这里就有之前提到原创 2020-03-22 11:09:49 · 383 阅读 · 0 评论 -
【Kafka】Kafka简单介绍
目录原创 2020-03-19 17:28:30 · 263 阅读 · 0 评论 -
【Kafka】Kafka集群基础操作!新手上路必备~
目录bin目录Topic命令概览创建Topic 所有操作都要cd到/export/servers/kafka_2.11-1.0.0安装包下操作 bin目录 bin目录下有很多shell文件,可以根据需要进行操作 Topic命令概览 可以先看一下关于topic的操作 创建Topic 创建一个名为test的Topic,有三个分区、两个副本 bin/kafka-topics.sh -...原创 2020-03-18 23:14:58 · 226 阅读 · 0 评论 -
【Kafka】Kafka集群环境搭建
目录一、初始环境准备二、下载安装包并上传解压三、修改配置文件四、启动ZooKeeper五、启动Kafka集群 一、初始环境准备 必须安装了JDK和ZooKeeper,并保证Zookeeper服务正常启动 二、下载安装包并上传解压 下载tar包地址:http://archive.apache.org/dist/kafka/ 也可以在linux系统中操作 cd /export/softwar...原创 2020-03-18 16:12:14 · 143 阅读 · 0 评论 -
【Kafka】消息队列相关知识
目录概述常用消息队列常用消息队列对比应用场景消息队列的两种模式 概述 消息(Message) 是指在应用系统之间传递的数据。消息可以非常简单,比如只包含文本字符串,也可以更复杂,可能包含嵌入对象。 消息队列(Message Queue) 是一种应用间的通信方式,也可以说是消息队列形成的模型,先进先出。消息一经发送可以立即返回,有消息系统来确保信息的可靠专递,消息发布者只管把消息发布到MQ中而...原创 2020-03-18 00:17:09 · 321 阅读 · 0 评论