kafka
文章平均质量分 87
奔跑-起点
这个作者很懒,什么都没留下…
展开
-
Kafka 设计与原理详解(一)
一、Kafka简介本文综合了我之前写的kafka相关文章,可作为一个全面了解学习kafka的培训学习资料。转载请注明出处 : 本文链接(http://blog.csdn.net/suifeng3051/article/details/48053965)1.1 背景历史当今社会各种应用系统诸如商业、社交、搜索、浏览等像信息工厂一样不断的生产出各种信息,在大数据原创 2016-05-10 16:50:30 · 3503 阅读 · 0 评论 -
可靠消息服务在支付领域的应用
可靠消息服务在支付领域的应用原创 2017-08-09 11:27:53 · 529 阅读 · 0 评论 -
全新的Kafka controller
本文主要参考社区0.11版本Controller的重设计方案,试图给大家梳理一下Kafka controller这个组件在设计上的一些重要思考。众所周知,Kafka中有个关键组件叫controller,负责管理和协调Kafka集群。网上关于controller的源码分析也有很多。我在这里就不再大段地列出代码重复做这件事情了。实际上,对于controller的代码我一直觉得写的非常混乱,各种调用关系原创 2017-06-11 23:13:52 · 555 阅读 · 0 评论 -
]flume高并发优化——(1)load_balance
通过一年多时间的使用,统一日志系统,已经接入公司前台,在20个节点,几十万用户,数百亿交易额的大压力下,仅仅使用了一个普通的服务器,承受住了严峻的考验,在公司今年更宏大的目标,也是为了给大数据组提供更加全面信息的需求下,公司所有项目,要接入ULOG系统,主要包含管理后台,wap,app等,流量一下达到一个峰值,flume的瓶颈凸显出来,在解决的过程中,对flume的了解以及性能调优,有了更深入的认转载 2016-11-28 18:28:27 · 1130 阅读 · 1 评论 -
Linkedin Camus的使用
Preface在实现Lambda架构的时候,我以Kafka作为系统的输入,同时需要将数据批量从Kafka导入到HDFS存储起来,以备Batch layer批处理计算。而从Kafka到HDFS的数据传输,Linkedin已经有一个开源的项目,即Linkedin Camus。Camus是Kafka到HDFS的管道,它实际上是向Hadoop提交一个作业,并从Kafka获取指定topi转载 2016-11-24 11:52:42 · 1244 阅读 · 0 评论 -
Linkedin Camus,从Kafka到HDFS的数据传输管道
Preface本文是对Linkedin-Camus的介绍。内容都是从Camus的github中摘取出来的,详细的内容要看其说明和源码Introduction of CamusCamus是Linkedin开源的一个从Kafka到HDFS的数据管道,实际上它是一个MapReduce作业What is AvroApache Avro是一个 Data转载 2016-11-24 11:52:09 · 1530 阅读 · 0 评论 -
kafka 0.8.2版本配置选项翻译
3. ConfigurationKafka在配置文件中使用key-value方式进行属性配置。这些values可以通过文件或者编程方式提供。3.1 Broker Configs基本配置如下:-broker.id-log.dirs-zookeeper.connect翻译 2016-10-25 17:41:20 · 1247 阅读 · 0 评论 -
腾讯 VS 阿里 VS 携程消息中间件设计方案及思路
背景设计和不断迭代、升级消息中间件方案,为了避免走弯路,希望站在巨头肩膀上,学习经验、吸取精华,推动MQ快速演进,为业务高速扩张提供支撑目标:可靠性(保证消息不丢失)、异步、解耦(无需同时在线、不需要知道对方是谁)。 数据的存储级别:内存中的数据(断电丢数据)===》持久化磁盘(磁盘损坏)===》冗余备份(一致性问题)业界MQ设计方案如下:1.阿里Notify架原创 2016-08-05 11:05:37 · 879 阅读 · 0 评论 -
Kafka副本同步机制理解
http://blog.csdn.net/lizhitao/article/details/51718185构建操作简单的分布式系统,尤其是对微妙的行为,最好的一门艺术是经常收集生产环境经验。Apache Kafka的普及在很大程度上归功于它的设计和操作简单。Apache Kafka更微妙的特性之一是它的复制协议。对于单个集群不同大小工作负载情况下如何自动调优Kafka副本的工转载 2016-08-05 10:52:44 · 1297 阅读 · 0 评论 -
Kafka 设计与原理详解(二)
六、Kafka主要配置6.1 Broker Config属性默认值描述broker.id必填参数,broker的唯一标识log.dirs/tmp/kafka-logsKafka数据存放的目录。可以指定多个目录,中间用逗号分隔,当新partition被创建的时会被存放到当前存放pa原创 2016-05-10 16:51:41 · 4200 阅读 · 0 评论 -
kafka windows单机安装测试
版本 kafka_2.10-0.8.2.1初步了解一下一下kafka的基本用法。win7 64 bitjdk1.71)下载kafka_2.10-0.8.2.1.tgz并解压(整合scala)2)修改配置文件(可选)config/zookeeper.properties dataDir=/zookeeper这么写建到d盘根目录原创 2017-08-12 16:28:17 · 722 阅读 · 0 评论