Kafka剖析(一):Kafka背景及架构介绍

Kafka是由LinkedIn开发的一个分布式的消息系统,使用Scala编写,它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。InfoQ一直在紧密关注Kafka的应用以及发展,“Kafka剖析”专...

2015-03-19 21:49:23

阅读数 869

评论数 0

Linux流量监控工具 - iftop (最全面的iftop教程)

在类Unix系统中可以使用top查看系统资源、进程、内存占用等信息。查看网络状态可以使用netstat、nmap等工具。若要查看实时的网络流量,监控TCP/IP连接等,则可以使用iftop。 一、iftop是什么? iftop是类似于top的实时流量监控工具。 官方网站:http...

2015-03-06 14:00:59

阅读数 541

评论数 0

Linux网络流量实时监控ifstat iftop命令详解

ifstat 介绍 ifstat工具是个网络接口监测工具,比较简单看网络流量   实例 默认使用 #ifstat eth0 eth1 KB/s in KB/s out KB/s in KB/s ...

2015-02-09 18:05:06

阅读数 836

评论数 0

linux下iftop安装使用

在类linux系统中可以使用top查看系统资源、进程、内存占用等信息。查看网络状态可以使用netstat、nmap等工具。若要查看实时的网络流量,监控TCP/IP连接等,则可以使用iftop. 一、iftop是什么? iftop是类似于top的实时流量监控工具。 官方网站:http://ww...

2015-02-09 17:15:09

阅读数 1048

评论数 0

zookeeper代码解析

zookeeper代码解析 ZooKeeper是近期比较热门的一个类Paxos实现。也是一个逐渐得到广泛应用的开源的分布式锁服务实现。被认为是Chubby的开源版,虽然具体实现有很多差异。ZooKeeper概要的介绍可以看官方文档:http://hadoop.apache.org/z...

2014-11-26 21:20:06

阅读数 566

评论数 0

kafka 2.10-8.1.1安装

1. 解压安装包 2. 配置server.properties (现在线上配置) 目录在 config 下,修改配置信息     修改 broker.id 为不同的值0 ,1 ,2 ... host.name 设置IP 供连接使用 zookeeper.connect 设置 zk 地址...

2014-11-20 17:00:08

阅读数 1431

评论数 0

HBase性能调优

因官方Book Performance Tuning部分章节没有按配置项进行索引,不能达到快速查阅的效果。所以我以配置项驱动,重新整理了原文,并补充一些自己的理解,如有错误,欢迎指正。 配置优化 zookeeper.session.timeout 默认值:3分钟(180000ms) ...

2014-11-12 20:38:54

阅读数 583

评论数 0

HBase性能优化方法总结(四):数据计算

本文主要是从HBase应用程序设计与开发的角度,总结几种常用的性能优化方法。有关HBase系统配置级别的优化,可参考:淘宝Ken Wu同学的博客。 下面是本文总结的第四部分内容:数据计算相关的优化方法。 4. 数据计算 4.1 服务端计算 Coprocessor运行于HBa...

2014-11-12 18:00:27

阅读数 631

评论数 0

HBase性能优化方法总结(三):读表操作

本文主要是从HBase应用程序设计与开发的角度,总结几种常用的性能优化方法。有关HBase系统配置级别的优化,可参考:淘宝Ken Wu同学的博客。 下面是本文总结的第三部分内容:读表操作相关的优化方法。 3. 读表操作 3.1 多HTable并发读 创建多个HTable客户...

2014-11-12 17:59:39

阅读数 787

评论数 0

HBase性能优化方法总结(二):写表操作

本文主要是从HBase应用程序设计与开发的角度,总结几种常用的性能优化方法。有关HBase系统配置级别的优化,可参考:淘宝Ken Wu同学的博客。 下面是本文总结的第二部分内容:写表操作相关的优化方法。 2. 写表操作 2.1 多HTable并发写 创建多个HTable客户...

2014-11-12 17:58:46

阅读数 584

评论数 0

HBase性能优化方法总结(一):表的设计

本文主要是从HBase应用程序设计与开发的角度,总结几种常用的性能优化方法。有关HBase系统配置级别的优化,可参考:淘宝Ken Wu同学的博客。 下面是本文总结的第一部分内容:表的设计相关的优化方法。 1. 表的设计 1.1 Pre-Creating Regions 默认...

2014-11-12 17:56:30

阅读数 530

评论数 0

kafka 操作中

kafka的一些操作命令:

2014-11-08 16:13:29

阅读数 1565

评论数 2

kafka 集群运维和使用

最近在维护kafka集群,遇到了很多问题都需要记录下, 1.   kafka 的topic 级别的配置修改

2014-11-08 14:43:19

阅读数 14572

评论数 12

使用zssh远程传送文件

zssh的全名叫ZMODEM SSH.看名字就知道,使用的zmodem,我们习惯了SecureCRT,直接就可以用来发送文件,比使用scp方便很多。 zmodem协议方便主要表示在以下点 其一,不需要输入很长的命令和密码,直接使用rz,sz加文件名,就能实现文件的收发。速度还很快。 ...

2014-10-27 13:02:01

阅读数 712

评论数 0

linux 机器之间 zssh, rz, sz互相传输 ( How to install zssh in Ubuntu 13.10 (Saucy))

zssh 用法是: 像用ssh命令一样用zssh登录主机; 在命令输入状态中按下ctrl+2(@键)进入zssh状态; $sz 本地文件名 [可选参数-be:二进制方式] 上传文件完成(我在用时输出了一些乱码,但没影响上传) 下载是反出来的,先sz文件再ctrl+2再输入rz   更新...

2014-10-27 13:00:50

阅读数 841

评论数 0

HBase条件查询(多条件查询)

Author:Pirate Leo myBlog: http://blog.csdn.net/pirateleo/ myEmail: codeevoship@gmail.com 转载请注明出处,谢谢。 文中可能涉及到的API: Hadoop/HDFS:http://hadoo...

2014-10-24 16:02:04

阅读数 540

评论数 0

Storm实战常见问题及解决方案

该文档为实实在在的原创文档,转载请注明: http://blog.sina.com.cn/s/blog_8c243ea30101k0k1.html 类型 详细 备注 该文档是群里几个朋友在storm实战中遇到的一些问题,及其对应解决办法。 ...

2014-10-18 15:19:40

阅读数 859

评论数 0

kafka 监控之Mx4jLoader

接上一篇kafka监控的博文讲起,在kafka 源码kafka/utils中有Mx4jLoader.scala源码,源码注释功能如下: ? 1 2 3 4 5 6 7 8 9 /**  * If mx4j-tools is in the ...

2014-10-15 09:50:01

阅读数 1705

评论数 0

Solr开发文档:Solr详细介绍

Solr 是一种可供企业使用的、基于 Lucene 的搜索服务器,它支持层面搜索、命中醒目显示和多种输出格式。在这篇文章中,将介绍 Solr 并展示如何轻松地将其表现优异的全文本搜索功能加入到 Web 应用程序中。 开发环境: System:Windows WebBrowser:...

2014-08-25 22:45:56

阅读数 687

评论数 0

Hadoop web编程--REST API

1 介绍     Hadoop提供了一个Java native API来支持对文件系统进行创建,重命名,删除文件或者目录,打开读取或者写文件,设置文件权限等操作。这对于运行在hadoop集群中的应用程序来说是挺棒的,但是,也有许多外部的应用程序需要操作HDFS的情况,怎么办?如果解决这种问题...

2014-08-25 22:29:52

阅读数 872

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭