孙佳宇-CSDN博客

原创 ZeroMQ 的java 插件

有java程序要用ZeroQM，从ZeroMQ的port里得到数据。在以前的VM里设置过，但是把程序移动到新的VM里就出现了Error：java.lang.UnsatisfiedLinkError: no jzmq in java.library.path这里记录一下首先到ZMQ官网，里面有详细的下载和安装信息 http://zeromq.org/bindings:java

2016-03-08 05:59:01 1896 2

原创 Padres 之broker socket 连不上问题

两个VM 互相ping的通，一个跑client 一个跑broker能通信，俩都跑broker就呵呵了，死活连不上。mac上看端口和进程的命令lsof -Pn |grep ":1100"linux 上的命令上次写了，是：netstat -atunlp查错ing给了个jump point，不知道是我不会用啊，还是它卓识不好用。要两级ssh，发现了个这个

2015-11-18 02:29:03 683

原创 Padres 之database

决定先从现成的Padres学起，一点一点肢解Padres 代码，鉴于自己还无法编写大型程序，只能边学边抄。error git hub error(non-fast-forward)error: failed to push some refs to **hint: Updates were rejected because a pushed branc

2015-11-12 12:07:22 597

原创 Content-Based Publish Subscribe 之 Padres

最近在看Content Based Pub/Sub 有一个成型的软件PADRES，多伦多大学出品的。下载安装的话，在http://www.msrg.org/projects/padres/downloads/download_binary.php 就有，github上也有。下载之后呢，要安装ant，来build。我是Redhat, yum install ant。后来发现少javacc包，又

2015-11-03 11:33:04 673

原创 Kafka 学习笔记（十一）关于Partition

先说下上一篇推荐的WinSCP真心管用，不但能让win和linux之间轻松传递文件，还可以在win上改linux文件，保存之后就能完成更改。闲言碎语不要讲，今天我们一起来看看partition。partition好啊，partition内部，消息是有顺序的。虽然partition默认的是round robbin，为了均衡负载嘛，但是我们也可以定制自己的partition。在写produce

2015-08-15 02:49:02 3015

原创前端的几个好用软件

记录一下这几天看前端知道的好用的软件。包和软件管理的：Bower 一个包管理器，可以下载好多最新的软件，而且，好多github上的东西可以直接找得到的。gulp，前端的利器，整合各种前端资源，自动编译，gulp serve和gulp clean，两个简单的命令就能使用了。同时，是你所有打开的网页都重新编译，方便快捷。网页的：Angularjs，Bootstrap，J

2015-07-30 10:56:04 938 1

原创 Kafka 学习笔记（十）之consumer写入file

承接上一篇，我们在写好了producer之后，来写consumerConsumer接到data之后，写入file中。vi不显示高亮，不爽，改一下设置vi /etc/vimrc添加syntax on 新建了一个maven project FileWriterConsumer，建maven project方式参见本系列第一篇。 vi /root/kafka/kafka-e

2015-07-21 01:52:57 2942 1

原创 Kafka 学习笔记（八）之producer读取file

要想让Kafka用到实际中，就需要学会让Kafka从文件中读取内容，发送到topic里，以供consumer读取。我们以前的几篇，自己产生data的，不是从file中读的。之前先下载好scp，scp是secure copy的简写，用于在Linux下进行远程拷贝文件的命令。命令如下：yum install openssh-clients从远程server上下载了文件到本地,下载命令：

2015-07-21 00:06:00 6640

原创 Kafka 学习笔记（九）producer 和 consumer分别在两个虚拟机上

这个才是Kafka真正要实现的功能嘛，有人生产消息，有人订阅消息然后生产者发送给订阅者，这个逻辑才对。我们先配置有traffic消息的虚拟机。我是通信的，Kafka我用来监听traffic，所以消息是traffic消息。需要配置一个没有kafka的机器，在这把配置的步骤贴出来。首先是到kafka官网上下载一个kafka的binary包，这个包呢一定要下载binary的，如果下载的src cod

2015-07-20 01:04:26 3269 1

原创 Python3中遇到的错误和解决方法

在看Python，准备下周的比赛，据说要用到python，Python菜鸟刚刚开始看。试着写程序遇到了一些问题，和大家分享一下。1. ImportError: No module named 'cookielib'1Python3中，改成 import http.cookiejar,然后方法里也改成 http.cookiejar，查找替换就行2. NameEr

2015-07-15 12:29:34 16209

原创 Kafka 学习笔记（七）之Kafka Consistency

Kafka Consistencyguarantee 包括（这个在kafka官网上，在这里总结概述一下）1. 在一个partition里，消息是顺序的2.consumer 收到消息的顺序就是log写入的顺序3.当所有的in sync replica消息被写入log，我们认为是committed的了4.只要有一个in sync replica（ISR）存在，消息就不会丢消息总

2015-07-14 10:27:47 1438

原创 Kafka 学习笔记（六）之Kafka Trouble Shooting （下）

书接上文，继续讲可能遇到的错误5.Brokers drop out of ISR可能原因：kafka默认的是大于4000message滞后的时候就drop ISRreplica.lag.max.messages =4000，如果延时太多，kafka认为网络状况不好，就不要这个follower了，所以当网络状况不好，broker较少，或者机子的吞吐量不够的时候，可以提高这个默认的

2015-07-14 01:23:04 4207 2

原创 Kafka 学习笔记（五）之Kafka Trouble Shooting （上）

Kafka Trouble Shooting前几篇写的客户端是使用，实在理想状态下的，没有错误。Kafka一个最大的麻烦就是会遇到各种错误，exception满天飞。

2015-07-11 08:00:37 1984

原创 kafka 学习笔记（四）之Python客户端

今天看看Python客户端。代码在github上，和以前一样，我们用github上写好的代码进行测试https://github.com/mumrah/kafka-pythonpip install git+git://github.com/mumrah/kafka-python先确保机器上已经安装了python输入命令：python[root@localhost ka

2015-07-11 04:55:53 21845 1

原创 Kafka 学习笔记（三）之Java Consumer客户端

写了producer，这篇我们来看看consumer。

2015-07-11 03:03:39 1451

原创 kafka 学习笔记（二）之Java Producer客户端

软件神马的装好了，该写代码了，首先学习Producer。Tutorial的代码只能用来玩，我们真正要做的是用Kafka嵌入到我们自己的程序中。因此用java客户端创建自己的consumer和producer才是正经事。下面我们来看正经事！先来看看producer的Java客户端，这里介绍如何配置以及新建一个producer。并用自带的命令行console来测试新建的producer。这

2015-07-10 08:24:07 2535

原创 Kafka 学习笔记（一）

菜鸟学习kafka之为了java客户端的Maven安装最近在看Kafka，脚本启动官网上有tutorial但是客户端的没看到只能自己摸索了。本来以为装上java就能编译然后启动Kafka客户端了，但是好多包都不能import，看网上说maven，准备试试。首先安装Maven，我用的是Red Hat，网上看到了一键安装Maven的方法，http://flyfoxs.

2015-07-09 00:10:02 1548

chuliuxiangjiao的博客