2015年07月_孙佳宇

原创前端的几个好用软件

记录一下这几天看前端知道的好用的软件。包和软件管理的：Bower 一个包管理器，可以下载好多最新的软件，而且，好多github上的东西可以直接找得到的。gulp，前端的利器，整合各种前端资源，自动编译，gulp serve和gulp clean，两个简单的命令就能使用了。同时，是你所有打开的网页都重新编译，方便快捷。网页的：Angularjs，Bootstrap，J

2015-07-30 10:56:04 935 1

原创 Kafka 学习笔记（十）之consumer写入file

承接上一篇，我们在写好了producer之后，来写consumerConsumer接到data之后，写入file中。vi不显示高亮，不爽，改一下设置vi /etc/vimrc添加syntax on 新建了一个maven project FileWriterConsumer，建maven project方式参见本系列第一篇。 vi /root/kafka/kafka-e

2015-07-21 01:52:57 2930 1

原创 Kafka 学习笔记（八）之producer读取file

要想让Kafka用到实际中，就需要学会让Kafka从文件中读取内容，发送到topic里，以供consumer读取。我们以前的几篇，自己产生data的，不是从file中读的。之前先下载好scp，scp是secure copy的简写，用于在Linux下进行远程拷贝文件的命令。命令如下：yum install openssh-clients从远程server上下载了文件到本地,下载命令：

2015-07-21 00:06:00 6630

原创 Kafka 学习笔记（九）producer 和 consumer分别在两个虚拟机上

这个才是Kafka真正要实现的功能嘛，有人生产消息，有人订阅消息然后生产者发送给订阅者，这个逻辑才对。我们先配置有traffic消息的虚拟机。我是通信的，Kafka我用来监听traffic，所以消息是traffic消息。需要配置一个没有kafka的机器，在这把配置的步骤贴出来。首先是到kafka官网上下载一个kafka的binary包，这个包呢一定要下载binary的，如果下载的src cod

2015-07-20 01:04:26 3260 1

原创 Python3中遇到的错误和解决方法

在看Python，准备下周的比赛，据说要用到python，Python菜鸟刚刚开始看。试着写程序遇到了一些问题，和大家分享一下。1. ImportError: No module named 'cookielib'1Python3中，改成 import http.cookiejar,然后方法里也改成 http.cookiejar，查找替换就行2. NameEr

2015-07-15 12:29:34 16134

原创 Kafka 学习笔记（七）之Kafka Consistency

Kafka Consistencyguarantee 包括（这个在kafka官网上，在这里总结概述一下）1. 在一个partition里，消息是顺序的2.consumer 收到消息的顺序就是log写入的顺序3.当所有的in sync replica消息被写入log，我们认为是committed的了4.只要有一个in sync replica（ISR）存在，消息就不会丢消息总

2015-07-14 10:27:47 1435

原创 Kafka 学习笔记（六）之Kafka Trouble Shooting （下）

书接上文，继续讲可能遇到的错误5.Brokers drop out of ISR可能原因：kafka默认的是大于4000message滞后的时候就drop ISRreplica.lag.max.messages =4000，如果延时太多，kafka认为网络状况不好，就不要这个follower了，所以当网络状况不好，broker较少，或者机子的吞吐量不够的时候，可以提高这个默认的

2015-07-14 01:23:04 4203 2

原创 Kafka 学习笔记（五）之Kafka Trouble Shooting （上）

Kafka Trouble Shooting前几篇写的客户端是使用，实在理想状态下的，没有错误。Kafka一个最大的麻烦就是会遇到各种错误，exception满天飞。

2015-07-11 08:00:37 1977

原创 kafka 学习笔记（四）之Python客户端

今天看看Python客户端。代码在github上，和以前一样，我们用github上写好的代码进行测试https://github.com/mumrah/kafka-pythonpip install git+git://github.com/mumrah/kafka-python先确保机器上已经安装了python输入命令：python[root@localhost ka

2015-07-11 04:55:53 21831 1

原创 Kafka 学习笔记（三）之Java Consumer客户端

写了producer，这篇我们来看看consumer。

2015-07-11 03:03:39 1447

原创 kafka 学习笔记（二）之Java Producer客户端

软件神马的装好了，该写代码了，首先学习Producer。Tutorial的代码只能用来玩，我们真正要做的是用Kafka嵌入到我们自己的程序中。因此用java客户端创建自己的consumer和producer才是正经事。下面我们来看正经事！先来看看producer的Java客户端，这里介绍如何配置以及新建一个producer。并用自带的命令行console来测试新建的producer。这

2015-07-10 08:24:07 2528

原创 Kafka 学习笔记（一）

菜鸟学习kafka之为了java客户端的Maven安装最近在看Kafka，脚本启动官网上有tutorial但是客户端的没看到只能自己摸索了。本来以为装上java就能编译然后启动Kafka客户端了，但是好多包都不能import，看网上说maven，准备试试。首先安装Maven，我用的是Red Hat，网上看到了一键安装Maven的方法，http://flyfoxs.

2015-07-09 00:10:02 1544

chuliuxiangjiao的博客