KAFKA
文章平均质量分 72
golden_lion
这个作者很懒,什么都没留下…
展开
-
:Hadoop、NoSQL、分布式、lucene、solr、nutch kafka入门:简介、使用场景、设计原理、主要配置及集群搭
问题导读:1.zookeeper在kafka的作用是什么?2.kafka中几乎不允许对消息进行“随机读写”的原因是什么?3.kafka集群consumer和producer状态信息是如何保存的?4.partitions设计的目的的根本原因是什么? 一、入门 1、简介 Kafka is a distr转载 2016-05-31 13:27:52 · 1963 阅读 · 0 评论 -
漫游Kafka设计篇之数据持久化
版权声明:本文为博主原创文章,未经博主允许不得转载。转载注明出处:http://blog.csdn.net/honglei915/article/details/37564595Kafka视频教程同步首发,欢迎观看!不要畏惧文件系统!Kafka大量依赖文件系统去存储和缓存消息。对于硬盘有个传统的观念是硬盘总是很慢,这使很多人怀疑基转载 2016-06-21 08:08:13 · 438 阅读 · 0 评论 -
漫游Kafka设计篇之消息传输的事务定义
版权声明:本文为博主原创文章,未经博主允许不得转载。原文地址:http://blog.csdn.net/honglei915/article/details/37565119之前讨论了consumer和producer是怎么工作的,现在来讨论一下数据传输方面。数据传输的事务定义通常有以下三种级别:最多一次: 消息不会被重复发送,最多被传输一次,但也有可能转载 2016-06-21 08:08:48 · 441 阅读 · 0 评论 -
漫游Kafka设计篇之性能优化
原文地址:http://blog.csdn.net/honglei915/article/details/37564757Kafka视频教程同步首发,欢迎观看!Kafka在提高效率方面做了很大努力。Kafka的一个主要使用场景是处理网站活动日志,吞吐量是非常大的,每个页面都会产生好多次写操作。读方面,假设每个消息只被消费一次,读的量的也是很大的,Kafk转载 2016-06-21 08:09:23 · 370 阅读 · 0 评论 -
漫游Kafka设计篇之Producer和Consumer
原文地址:http://blog.csdn.net/honglei915/article/details/37564871Kafka视频教程同步首发,欢迎观看!Kafka Producer消息发送producer直接将数据发送到broker的leader(主节点),不需要在多个节点进行分发。为了帮助producer做到这点,所有的Ka转载 2016-06-21 08:09:57 · 788 阅读 · 0 评论 -
漫游Kafka设计篇之主从同步
原文地址:http://blog.csdn.net/honglei915/article/details/37565289Kafka视频教程同步首发,欢迎观看!Kafka允许topic的分区拥有若干副本,这个数量是可以配置的,你可以为每个topci配置副本的数量。Kafka会自动在每个个副本上备份数据,所以当一个节点down掉时数据依然是可用的。转载 2016-06-21 08:10:27 · 436 阅读 · 0 评论 -
漫游Kafka实战篇之客户端编程实例
原文地址:http://blog.csdn.net/honglei915/article/details/37697655Kafka视频教程同步首发,欢迎观看!Kafka Producer APIs新版的Producer API提供了以下功能:可以将多个消息缓存到本地队列里,然后异步的批量发送到broker,可以通过参数produce转载 2016-06-21 08:11:28 · 991 阅读 · 1 评论 -
漫游Kafka实现篇之消息和日志
原文地址:http://blog.csdn.net/honglei915/article/details/37760631Kafka视频教程同步首发,欢迎观看!消息格式日志一个叫做“my_topic”且有两个分区的的topic,它的日志有两个文件夹组成,my_topic_0和my_topic_1,每个文件夹里放着具体的数据文件,每个数据文件都是一转载 2016-06-21 08:12:04 · 969 阅读 · 0 评论 -
漫游Kafka之过期数据清理
Kafka将数据持久化到了硬盘上,允许你配置一定的策略对数据清理,清理的策略有两个,删除和压缩。数据清理的方式删除log.cleanup.policy=delete启用删除策略直接删除,删除后的消息不可恢复。可配置以下两个策略:清理超过指定时间清理: log.retention.hours=16超过指定大小后,删除旧的消息:log.retention.byte转载 2016-06-21 08:13:40 · 2284 阅读 · 0 评论 -
漫游Kafka实战篇之搭建Kafka运行环境
原文地址:http://blog.csdn.net/honglei915/article/details/37564329Kafka视频教程同步首发,欢迎观看!接下来一步一步搭建Kafka运行环境。 Step 1: 下载Kafka点击下载最新的版本并解压.> tar -xzf kafka_2.9.2-0.8.1.1.tgz> cd kafka_2.9.2-转载 2016-06-21 08:07:02 · 683 阅读 · 0 评论 -
漫游Kafka入门篇之简单介绍
原文地址:http://blog.csdn.net/honglei915/article/details/37564521Kafka视频教程同步首发,欢迎观看!介绍Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能,但具有自己独特的设计。这个独特的设计是什么样的呢?首先让我们看几个基本的消息系统术语:转载 2016-06-21 08:06:24 · 338 阅读 · 0 评论 -
漫游kafka实战篇之搭建Kafka开发环境
版权声明:本文为博主原创文章,未经博主允许不得转载。转载注明出处:http://blog.csdn.net/honglei915/article/details/37563647Kafka视频教程同步首发,欢迎观看!上篇文章中我们搭建了kafka的服务器,并可以使用Kafka的命令行工具创建topic,发送和接收消息。下面我们来搭建kafka的开转载 2016-06-21 08:05:26 · 887 阅读 · 0 评论 -
Kafka入门经典教程
问题导读1.Kafka独特设计在什么地方?2.Kafka如何搭建及创建topic、发送消息、消费消息?3.如何书写Kafka程序?4.数据传输的事务定义有哪三种?5.Kafka判断一个节点是否活着有哪两个条件?6.producer是否直接将数据发送到broker的leader(主节点)?7.Kafa consumer是否可以消费指定分区消息?8.Kafka消息是转载 2016-05-31 13:31:02 · 443 阅读 · 0 评论 -
Kafka 下载和安装
-- Start登录 Kafka 官方网站(http://kafka.apache.org/)下载 Kafka 最新版本,本系列文章将采用 0.8.2.2 版作为说明。安装 Kafka 非常简单,将它解压缩到某个目录就可以了,本人将使用目录 C:\dev\kafka_2.10-0.8.2.2-- 更多参见:Kafka 精萃-- 声 明:转载请注明出处--原创 2016-05-31 13:46:51 · 3908 阅读 · 0 评论 -
Kafka 精萃
-- StartKafka 简介Kafka 下载和安装Kafka 体系结构只有一个broker的例子有多个broker的例子发送消息接收消息配置 Kafka-- 更多参见:Open Source 精萃-- 声 明:转载请注明出处-- Last Edited on 2015-10-20-- Written by ShangBo转载 2016-05-31 13:50:38 · 336 阅读 · 0 评论 -
Kafka 安装和测试
1. 简介 kafka (官网地址:http://kafka.apache.org)是一款分布式消息发布和订阅的系统,具有高性能和高吞吐率。 i. 消息的发布(publish)称作producer,消息的订阅(subscribe)称作consumer,中间的存储阵列称作broker。ii. 多个broker协同合作,producer、consumer和broker转载 2016-05-31 13:53:17 · 339 阅读 · 0 评论 -
Kafka在LinkedIn公司的应用场景、现状与未来
Apache Kafka是分布式发布-订阅消息系统,它最初由LinkedIn公司开发,之后成为Apache项目的一部分。Kafka是一个分布式,分区化,可复制的提交日志服务。LinkedIn使用Kafka实现了公司不同应用程序之间的松耦和,那么作为一个可扩展、高可靠的消息系统,它在LinkedIn公司内部都有哪些应用场景、其生态系统是什么样的、未来又会向哪些方面发展呢?最近,LinkedIn的工程转载 2016-05-20 17:36:10 · 1147 阅读 · 0 评论 -
kafka入门:简介、使用场景、设计原理、主要配置及集群搭建(转)
问题导读:1.zookeeper在kafka的作用是什么?2.kafka中几乎不允许对消息进行“随机读写”的原因是什么?3.kafka集群consumer和producer状态信息是如何保存的?4.partitions设计的目的的根本原因是什么? 一、入门 1、简介 Kafka is a distr转载 2016-07-11 15:57:59 · 436 阅读 · 0 评论 -
kafka集群搭建和使用Java写kafka生产者消费者
1 kafka集群搭建 Java代码 1.zookeeper集群 搭建在110, 111,112 2.kafka使用3个节点110, 111,112 修改配置文件config/server.properties broker.id=110 host.name=192.168.1.110 log.dirs=/usr/loc转载 2016-06-21 08:04:08 · 618 阅读 · 0 评论 -
漫游Kafka实现篇之分布式
原文地址:http://blog.csdn.net/honglei915/article/details/37932819Zookeeper节点标记当路径中的元素包括在方括号里比如[xyz],则表示xyz表示的值是不固定的,每个可能的值都有一个Zookeeper节点。比如/topics/[topic]表示每个topic名称对应/topics的一个子目录。也可以用类似[0...5]表示一转载 2016-06-21 08:13:53 · 419 阅读 · 0 评论