kafka学习
文章平均质量分 72
孙佳宇
记录个人学习笔记,作为以后的参照,也算是在云端保存的我的笔记。同时纪念一个人Q。如果能帮到大家,偶很高兴 :)
展开
-
Kafka 学习笔记(一)
菜鸟学习kafka之 为了java客户端的Maven安装最近在看Kafka,脚本启动官网上有tutorial但是客户端的没看到只能自己摸索了。本来以为装上java就能编译然后启动Kafka客户端了,但是好多包都不能import,看网上说maven,准备试试。首先安装Maven,我用的是Red Hat,网上看到了一键安装Maven的方法,http://flyfoxs.原创 2015-07-09 00:10:02 · 1551 阅读 · 0 评论 -
Kafka 学习笔记(八)之producer读取file
要想让Kafka用到实际中,就需要学会让Kafka从文件中读取内容,发送到topic里,以供consumer读取。我们以前的几篇,自己产生data的,不是从file中读的。之前先下载好scp,scp是secure copy的简写,用于在Linux下进行远程拷贝文件的命令。命令如下:yum install openssh-clients从远程server上下载了文件到本地,下载命令:原创 2015-07-21 00:06:00 · 6658 阅读 · 0 评论 -
Kafka 学习笔记(十)之consumer写入file
承接上一篇,我们在写好了producer之后,来写consumerConsumer接到data之后,写入file中。vi不显示高亮,不爽,改一下设置vi /etc/vimrc添加syntax on 新建了一个maven project FileWriterConsumer,建maven project方式参见本系列第一篇。 vi /root/kafka/kafka-e原创 2015-07-21 01:52:57 · 2951 阅读 · 1 评论 -
Kafka 学习笔记(九)producer 和 consumer分别在两个虚拟机上
这个才是Kafka真正要实现的功能嘛,有人生产消息,有人订阅消息然后生产者发送给订阅者,这个逻辑才对。我们先配置有traffic消息的虚拟机。我是通信的,Kafka我用来监听traffic,所以消息是traffic消息。需要配置一个没有kafka的机器,在这把配置的步骤贴出来。首先是到kafka官网上下载一个kafka的binary包,这个包呢一定要下载binary的,如果下载的src cod原创 2015-07-20 01:04:26 · 3276 阅读 · 1 评论 -
Kafka 学习笔记(七)之Kafka Consistency
Kafka Consistencyguarantee 包括(这个在kafka官网上,在这里总结概述一下)1. 在一个partition里,消息是顺序的2.consumer 收到消息的顺序就是log写入的顺序3.当所有的in sync replica消息被写入log,我们认为是committed的了4.只要有一个in sync replica(ISR)存在,消息就不会丢消息总原创 2015-07-14 10:27:47 · 1452 阅读 · 0 评论 -
Kafka 学习笔记(六)之Kafka Trouble Shooting (下)
书接上文,继续讲可能遇到的错误5.Brokers drop out of ISR可能原因:kafka默认的是大于4000message滞后的时候就drop ISRreplica.lag.max.messages =4000,如果延时太多,kafka认为网络状况不好,就不要这个follower了,所以当网络状况不好,broker较少,或者机子的吞吐量不够的时候,可以提高这个默认的原创 2015-07-14 01:23:04 · 4215 阅读 · 2 评论 -
Kafka 学习笔记(五)之Kafka Trouble Shooting (上)
Kafka Trouble Shooting前几篇写的客户端是使用,实在理想状态下的,没有错误。Kafka一个最大的麻烦就是会遇到各种错误,exception满天飞。原创 2015-07-11 08:00:37 · 1991 阅读 · 0 评论 -
kafka 学习笔记(四)之Python客户端
今天看看Python客户端。代码在github上,和以前一样,我们用github上写好的代码进行测试https://github.com/mumrah/kafka-pythonpip install git+git://github.com/mumrah/kafka-python先确保机器上已经安装了python输入命令:python[root@localhost ka原创 2015-07-11 04:55:53 · 21881 阅读 · 1 评论 -
kafka 学习笔记(二)之Java Producer客户端
软件神马的装好了,该写代码了,首先学习Producer。Tutorial的代码只能用来玩,我们真正要做的是用Kafka嵌入到我们自己的程序中。因此用java客户端创建自己的consumer和producer才是正经事。下面我们来看正经事!先来看看producer的Java客户端,这里介绍如何配置以及新建一个producer。并用自带的命令行console来测试新建的producer。这原创 2015-07-10 08:24:07 · 2541 阅读 · 0 评论 -
Kafka 学习笔记(三)之Java Consumer客户端
写了producer,这篇我们来看看consumer。原创 2015-07-11 03:03:39 · 1462 阅读 · 0 评论 -
Kafka 学习笔记(十一)关于Partition
先说下上一篇推荐的WinSCP真心管用,不但能让win和linux之间轻松传递文件,还可以在win上改linux文件,保存之后就能完成更改。闲言碎语不要讲,今天我们一起来看看partition。partition好啊,partition内部,消息是有顺序的。虽然partition默认的是round robbin,为了均衡负载嘛,但是我们也可以定制自己的partition。在写produce原创 2015-08-15 02:49:02 · 3037 阅读 · 0 评论