大数据相关
文章平均质量分 78
liukaixiansheng
这个作者很懒,什么都没留下…
展开
-
Kafka使用心得(2)—kafka介绍
Kafka使用心得 1. Kafka简单理解 kafka是一个可靠的消息中间件,它的直接作用是将生产者和消费者进行解耦。和自己简单实现一个消息队列相比,kafuka具有可靠性、可扩展性、灵活性等优点。 可靠性:kafuka的消息会落盘,因此保证了消息不会被丢弃。 可扩展性:kafuka是一个分布式系统,很容易通过增加机器来进行水平扩展。 灵活性:kafuka的消息可以被多个消费者组...原创 2016-06-30 19:46:04 · 366 阅读 · 0 评论 -
Kafka使用心得(1)—消息中间件
常见消息中间件 消息中间件是服务间传递消息的中间件,用于服务之间通信的。服务间通信可以分为两大类,一类是机器内的服务通信,一类是不同机器间的服务通信。 1. 机器内服务通信 项目间的服务通信,即进程或线程间的通信。这是一个面试或笔试经常会考的问题。进程间通信的常见方法有:管道、共享内存、信号量、消息队列等。 管道:分为匿名管道和命名管道,其中匿名管道只适用于父子进程间的通信,...原创 2016-08-07 10:49:03 · 129 阅读 · 0 评论 -
Kafka使用心得(3)—Kafka性能解剖
Kafka技术介绍 1. PULL VS PUSH pull和push是两种消息传输方式,各有优缺点。Flume采用了push的方式进行消息传输,对注册后的客户端,主动发送收到的消息。而Kafka采用了传统的消息队列的方式,生产者使用push方式,消费者使用pull方式。 对于生产者来说,Kafka集群的处理能力要远远超过自己,因此可以很放心的进行p...原创 2016-08-14 14:16:42 · 165 阅读 · 0 评论 -
Kafka使用心得(4)—Kafka详细分析
Kafka详细分析 前面说过Kafka主要包括:客户端,Broker,ZK,消费者四块内容。 1. 客户端 客户端的作用为收集消息,将消息正确的发送到客户端。 1.1 消息 客户端的消息包括:CRC,版本号,Key,Length,属性,Value 1.2 客户端和ZK 客户端启动之前需要指定ZK地址,客户端需要ZK来获取Broker信息...原创 2016-08-17 17:16:38 · 143 阅读 · 0 评论