消息队列-Kafka
Sunny3096
社会闲散人员
展开
-
【消息队列----Kafka】kafka服务配置server.properties
【server.properties】kafka服务设置每个kafka broker中配置文件server.properties默认必须配置的属性如下:broker.id=0 num.network.threads=2 num.io.threads=8 socket.send.buffer.bytes=1048576 socket.receive.buffer.bytes...原创 2017-10-30 13:21:00 · 196 阅读 · 0 评论 -
【消息队列----Kafka】kafka性能调优
【调优】kafka性能调优主要优化原理和思路kafka是一个高吞吐量分布式消息系统,并且提供了持久化。其高性能的有两个重要特点:利用了磁盘连续读写性能远远高于随机读写的特点; 并发,将一个topic拆分多个partition。要充分发挥kafka的性能,就需要满足这两个条件kafka读写的单位是partition,因此,将一个topic拆分为多个partition可以提高吞吐量...原创 2017-10-30 13:16:00 · 815 阅读 · 0 评论 -
【消息队列----Kafka】设计与原理详解
一、Kafka简介1.1 背景历史当今社会各种应用系统诸如商业、社交、搜索、浏览等像信息工厂一样不断的生产出各种信息,在大数据时代,我们面临如下几个挑战:如何收集这些巨大的信息 如何分析它 如何及时做到如上两点以上几个挑战形成了一个业务需求模型,即生产者生产(produce)各种信息,消费者消费(consume)(处理分析)这些信息,而在生产者与消费者之间,需要一个沟通两者的桥梁...原创 2019-05-28 08:20:00 · 769 阅读 · 0 评论 -
【消息队列----Kafka】kafka传递实体类消息
工具类负责对象字节数组的相互转换,传输数据用package com.yq.utils;import java.io.ByteArrayInputStream;import java.io.ByteArrayOutputStream;import java.io.IOException;import java.io.ObjectInputStream;import java.i...原创 2019-05-28 08:19:46 · 2698 阅读 · 0 评论 -
【消息队列----Kafka】kafka环境搭建以及基础教程
问题导读1.Kafka独特设计在什么地方?2.Kafka如何搭建及创建topic、发送消息、消费消息?3.如何书写Kafka程序?4.数据传输的事务定义有哪三种?5.Kafka判断一个节点是否活着有哪两个条件?6.producer是否直接将数据发送到broker的leader(主节点)?7.Kafa consumer是否可以消费指定分区消息?8.Kafka消息是采用Pull模式,...原创 2019-05-28 08:19:54 · 535 阅读 · 0 评论 -
【消息队列----Kafka】知识点整理
一、为什么需要消息系统1.解耦: 允许你独立的扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束。2.冗余: 消息队列把数据进行持久化直到它们已经被完全处理,通过这一方式规避了数据丢失风险。许多消息队列所采用的"插入-获取-删除"范式中,在把一个消息从队列中删除之前,需要你的处理系统明确的指出该消息已经被处理完毕,从而确保你的数据被安全的保存直到你使用完毕。3.扩展性: ...原创 2019-05-28 08:19:41 · 172 阅读 · 0 评论