关注
分享
默默走开
待我荣耀归来，我娶你可好？
展开
-
【Kafka】Kafka入门解析（八）
（图片来源于网络，侵删）Kafka Stream我们知道Kafka是一个分布式消息队列，具有很高的吞吐量，性能可以说的非常的高，所以，但是！随着社会经济的发展，像Spark、Flink这种流式框架的兴起，流这个概念可谓是如日中天，所以，我们的Kafka小老弟儿，也搞了一个Kafka Stream，让我们这种菜鸡的学习成本又高了不少，真的是难受，但是作为一个程序员，学习这种事情，就应该往死里...原创 2020-04-23 09:08:24 · 2870 阅读 · 3 评论 -
【Kafka】Kafka入门解析（七）
（图片来源于网络，侵删）这一篇博客对于Consumer的概念做一些归纳整理！废话不多说，那就开始吧！！！【1】Consumer消费方式consumer 采用 pull（拉）模式从 broker 中读取数据push（推）模式很难适应消费速率不同的消费者，因为消息发送速率是由 broker 决定的它的目标是尽可能以最快速度传递消息，但是这样很容易造成 consumer 来不及处理消息...原创 2020-04-22 22:25:44 · 3452 阅读 · 3 评论 -
【Kafka】Kafka入门解析（六）
（图片来源于网络，侵删）这一篇博客对于broker的概念做一些归纳整理！废话不多说，那就开始吧！！！【1】TopicKafka 中消息是以 topic进行分类的，生产者生产消息，消费者消费消息，都是面向 topic的Topic 是逻辑上的概念，而 partition 是物理上的概念Topic是由一个或多个Partition Logs(分区日志)组成，其组织结构如下图所示：我们可...原创 2020-04-22 21:37:27 · 4874 阅读 · 2 评论 -
【Kafka】Kafka入门解析（五）
（图片来源于网络，侵删）这一篇博客对于Producer的概念做一些归纳整理！废话不多说，那就开始吧！！！【1】Producer写入方式：Producer采用推（push）模式将消息发布到broker，每条消息都被追加（append）到分区（patition）中，属于顺序写磁盘（顺序写磁盘效率比随机写内存要高，保障kafka吞吐率）Producer写入数据大致流程：1）Produc...原创 2020-04-22 21:06:10 · 3102 阅读 · 1 评论 -
【Kafka】Kafka入门解析（四）
（图片来源于网络，侵删）一、Producer 参数对于Producer，我们可以根据情况设置一些不同的参数，以此来达到对应的效果，总结了如下参数????1）buffer.memory用来设置生产者内存缓冲区的大小，生产者用它缓冲要发送到broker的消息。如果应用程序发送消息到生产者的速度超过了生产者发送数据到服务器的速度，会导致生产者空间不足。这个时候，send() 方法调用要么被阻塞，要...原创 2020-04-22 20:36:57 · 6474 阅读 · 0 评论 -
【Kafka】Kafka入门解析（三）
既然我们学习了Kafka,那么我们肯定是要用Kafka的，在企业中最常用的流程处理方式如下????线上数据 —> flume —> kafka —> flume(根据情景增删该流程) —> HDFS虽然Kafka和Flume对接很简单，但是我们还是记录一下，以免哪天忘了就尴尬了你说是不是呀QAQ，如果小伙伴们对Flume的基本操作有些生疏的，可以去看一下我的...原创 2020-03-17 22:27:16 · 6070 阅读 · 2 评论 -
【Kafka】Kafka入门解析（二）
当我们熟悉了Kafka的命令行操作，我们现在也要开始JavaApi的操作了，毕竟我们实际开发肯定是大量使用JavaApi的，所以我们来熟悉一下JavaApi操作吧！一、环境准备我们使用Maven构建项目，所以需要添加Kafka的依赖环境，在 pom.xml 中添加以下内容即可<dependencies> <!-- https://mvnrepository....原创 2020-03-17 16:47:42 · 6016 阅读 · 2 评论 -
【Kafka】Kafka简单总结
1.Kafka架构图2.Kafka的机器数量Kafka机器数量=2*（峰值生产速度*副本数/100）+13.Kafka的日志保存时间默认保存7天4.Kafka的硬盘大小每天的数据量 * 7天 /70%5.Kafka监控器开源的监控器：KafkaManager、KafkaMonitor、kafkaeagle6.Kafka的分区数分区数并不是越多越好，一般分区数不要超过集群机器...原创 2020-03-17 11:09:15 · 5993 阅读 · 1 评论 -
【Kafka】Kafka入门解析（一）
一、Kafka概述【1】Kafka简介Kafka 是一个基于发布/订阅模式的分布式消息队列（Message Queue），主要应用于大数据实时处理领域【2】消息队列1）消息队列应用场景2）消息队列模式1）点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除）消息生产者生产消息发送到Queue中，然后消息消费者从Queue中取出并且消费消息。消息被消费以后，queue 中不再...原创 2020-03-16 20:49:47 · 5711 阅读 · 2 评论