小桥

Kafka是由LinkedIn开发的一个分布式的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。InfoQ一直在紧密关注Kafka的应用以及发展，“Kafka剖析”专栏将会从架构设计、实现、应用场景、性能等方面深度解析Kafka。背景介绍Kafka创建

在类Unix系统中可以使用top查看系统资源、进程、内存占用等信息。查看网络状态可以使用netstat、nmap等工具。若要查看实时的网络流量，监控TCP/IP连接等，则可以使用iftop。一、iftop是什么？iftop是类似于top的实时流量监控工具。官方网站：http://www.ex-parrot.com/~pdw/iftop/二、iftop有什么用？

ifstat介绍ifstat工具是个网络接口监测工具,比较简单看网络流量 实例默认使用#ifstat eth0 eth1 KB/s in KB/s out KB/s in KB/s out 0.07 0.20 0.00 0.00 0.07

在类linux系统中可以使用top查看系统资源、进程、内存占用等信息。查看网络状态可以使用netstat、nmap等工具。若要查看实时的网络流量，监控TCP/IP连接等，则可以使用iftop.一、iftop是什么？iftop是类似于top的实时流量监控工具。官方网站：http://www.ex-parrot.com/~pdw/iftop/二、iftop有什么用？iftop可以用

zookeeper代码解析ZooKeeper是近期比较热门的一个类Paxos实现。也是一个逐渐得到广泛应用的开源的分布式锁服务实现。被认为是Chubby的开源版，虽然具体实现有很多差异。ZooKeeper概要的介绍可以看官方文档：http://hadoop.apache.org/zookeeper 这里我们重点来看下它的内部实现。ZooKeeper集群中的每个server都

1. 解压安装包2. 配置server.properties (现在线上配置)目录在 config 下，修改配置信息    修改 broker.id 为不同的值0 ，1 ，2 ...host.name 设置IP 供连接使用zookeeper.connect 设置 zk 地址  例如：zkhost1:port1,zkhost2:port2,zkhost3:port3/kafk

因官方Book Performance Tuning部分章节没有按配置项进行索引，不能达到快速查阅的效果。所以我以配置项驱动，重新整理了原文，并补充一些自己的理解，如有错误，欢迎指正。配置优化zookeeper.session.timeout默认值：3分钟（180000ms）说明：RegionServer与Zookeeper间的连接超时时间。当超时时间到后，ReigonSe

本文主要是从HBase应用程序设计与开发的角度，总结几种常用的性能优化方法。有关HBase系统配置级别的优化，可参考：淘宝Ken Wu同学的博客。下面是本文总结的第四部分内容：数据计算相关的优化方法。4. 数据计算4.1 服务端计算Coprocessor运行于HBase RegionServer服务端，各个Regions保持对与其相关的coprocessor实现类的

本文主要是从HBase应用程序设计与开发的角度，总结几种常用的性能优化方法。有关HBase系统配置级别的优化，可参考：淘宝Ken Wu同学的博客。下面是本文总结的第三部分内容：读表操作相关的优化方法。3. 读表操作3.1 多HTable并发读创建多个HTable客户端用于读操作，提高读数据的吞吐量，一个例子：static final Configurat

本文主要是从HBase应用程序设计与开发的角度，总结几种常用的性能优化方法。有关HBase系统配置级别的优化，可参考：淘宝Ken Wu同学的博客。下面是本文总结的第二部分内容：写表操作相关的优化方法。2. 写表操作2.1 多HTable并发写创建多个HTable客户端用于写操作，提高写数据的吞吐量，一个例子：static final Configurat

本文主要是从HBase应用程序设计与开发的角度，总结几种常用的性能优化方法。有关HBase系统配置级别的优化，可参考：淘宝Ken Wu同学的博客。下面是本文总结的第一部分内容：表的设计相关的优化方法。1. 表的设计1.1 Pre-Creating Regions默认情况下，在创建HBase表的时候会自动创建一个region分区，当导入数据的时候，所有的HBase客户

kafka的一些操作命令：

最近在维护kafka集群，遇到了很多问题都需要记录下，1.   kafka 的topic 级别的配置修改

zssh的全名叫ZMODEM SSH.看名字就知道，使用的zmodem，我们习惯了SecureCRT,直接就可以用来发送文件，比使用scp方便很多。zmodem协议方便主要表示在以下点其一,不需要输入很长的命令和密码，直接使用rz,sz加文件名，就能实现文件的收发。速度还很快。其二,在中转了一台主机时，要在目标主机和本地主机之类，要传送文件，scp相当的麻烦，需要输入多次命

zssh 用法是： 像用ssh命令一样用zssh登录主机； 在命令输入状态中按下ctrl+2(@键)进入zssh状态； $sz 本地文件名 [可选参数-be:二进制方式] 上传文件完成（我在用时输出了一些乱码，但没影响上传） 下载是反出来的，先sz文件再ctrl+2再输入rz 更新：在archlinux上安装zssh须在AUR中找包，安装时依赖没有解决好，还需要安装lrzsz，否则

Author：Pirate LeomyBlog: http://blog.csdn.net/pirateleo/myEmail: codeevoship@gmail.com转载请注明出处，谢谢。文中可能涉及到的API：Hadoop/HDFS:http://hadoop.apache.org/common/docs/current/api/HBase: http:

该文档为实实在在的原创文档，转载请注明:http://blog.sina.com.cn/s/blog_8c243ea30101k0k1.html类型详细备注该文档是群里几个朋友在storm实战中遇到的一些问题，及其对应解决办法。  相关描述²  其他相关文档请参考新浪博客http://blo

接上一篇kafka监控的博文讲起，在kafka 源码kafka/utils中有Mx4jLoader.scala源码，源码注释功能如下：?123456789/** * If mx4j-tools is in the classpath call maybeLoad to load the HTTP interface

Solr 是一种可供企业使用的、基于 Lucene 的搜索服务器，它支持层面搜索、命中醒目显示和多种输出格式。在这篇文章中，将介绍 Solr 并展示如何轻松地将其表现优异的全文本搜索功能加入到 Web 应用程序中。开发环境：System：WindowsWebBrowser：IE6+、Firefox3+JDK：1.6+JavaEE Server：tomcat5

1 介绍    Hadoop提供了一个Java native API来支持对文件系统进行创建，重命名，删除文件或者目录，打开读取或者写文件，设置文件权限等操作。这对于运行在hadoop集群中的应用程序来说是挺棒的，但是，也有许多外部的应用程序需要操作HDFS的情况，怎么办？如果解决这种问题呢？Hortonworks 开发了一些额外的API来支持这些基于标准REST功能的需求。