2016年05月_追寻北极

12月 11月 10月 09月 08月 07月 05月 04月 03月 02月 01月

转载 apache kafka监控系列-KafkaOffsetMonitor

概览最近kafka server消息服务上线了，基于jmx指标参数也写到zabbix中了，但总觉得缺少点什么东西，可视化可操作的界面。zabbix中数据比较分散，不能集中看整个集群情况。或者一个cluster中broker列表，自己写web-console比较耗时耗力，用原型工具画了一些管理界面东西，关键自己也不前端方面技术，这方面比较薄弱。这不开源社区提供了kafka的web管理平台Ka

2016-05-30 10:21:51 1077

转载 Mb（全称为Mbps）与MB（Mbytes）的区别

从事IDC数据中心业务多年，和无数的企业技术网管打过交道，在带宽单位的问题上，80%的技术都有典型误解。本人特针对此问题在QQ上详细阐明，希望对网管人员进行网络基础扫盲。一般在书写带宽单位的时候，我们会写网络带宽是10M，很多网管误以为最大下载流量可以达到每秒下载10M的文件。其实是10/8 =1.25M。原因：带宽的单位和硬盘的单位是不一样的。容易误解的技术概念：Kb是否等于KB

2016-05-27 11:03:04 30476

转载 Hadoop集群上使用Lzo压缩

自从Hadoop集群搭建以来，我们一直使用的是Gzip进行压缩当时，我对gzip压缩过的文件和原始的log文件分别跑MapReduce测试，最终执行速度基本差不多而且Hadoop原生支持Gzip解压，所以，当时就直接采用了Gzip压缩的方式关于Lzo压缩，twitter有一篇文章，介绍的比较详细，见这里：Lzo压缩相比Gzip压缩，有如下特点：压缩解压的速度

2016-05-26 10:51:05 598

转载 flume-ng与flume-og对比

转载地址：http://www.ibm.com/developerworks/cn/data/library/bd-1404flumerevolution/index.html背景Cloudera 开发的分布式日志收集系统 Flume，是 Hadoop 周边组件之一。其可以实时的将分布在不同节点、机器上的日志收集到 hdfs 中。Flume 初始的发行版本目前被统称为 Flum

2016-05-26 10:48:52 803

转载 elasticsearch 使用事项

template的使用刚开始的时候，每次实验都去改/etc/elasticsearch/elasticsearch.yml配置文件。事实上在template里修改settings更方便而且灵活！当然最主要的，还是调节里面的properties设定，合理的控制store和analyze了。 template设定也有多种方法。最简单的就是和存储数据一样POST上去。长期的办法，就是写成j

2016-05-22 00:48:56 2783

转载 elasticsearch 配置详解

elasticsearch的config文件夹里面有两个配置文件：elasticsearch.yml和logging.yml，第一个是es的基本配置文件，第二个是日志配置文件，es也是使用log4j来记录日志的，所以logging.yml里的设置按普通log4j配置文件来设置就行了。下面主要讲解下elasticsearch.yml这个文件中可配置的东西。配置es的集群名称，默认是elas

2016-05-22 00:41:49 3185 1

转载 log4j集成flume-ng

flume-ng是时下比较流行的日志收集方案，log4j也是Java领域内常用的日志组件。那有什么简单的办法把他们结合起来呢？背景：通常，我们的应用程序已经在使用log4j来记录日志了，有一天我们的日志需要导入到其他地方（同时文本日志暂时也不想丢），用来分析（hdfs）或者检索（elasticsearch），我们就想到通过一个数据管道来做这件事情，flume似乎是一个不错的选择。

2016-05-22 00:41:01 1177

转载基于Flume的野狗实时日志系统的演进和优化

在讲解日志架构之前，先介绍一下我们野狗的业务。我们的业务共有两类SDK，基于两种连接技术。第一类是WebSocket长连接或用Long polling模拟的长连接，另外一类是HTTP REST短连接。大家看这张图，野狗的业务架构分为两层，第一层是接入层，包括NodeJs接入层、Nginx Rest API接入层；第二层是核心业务处理层，包括数据处理和Push server同步推

2016-05-22 00:39:49 2359

转载 ELK(ElasticSearch, Logstash, Kibana)搭建实时日志分析平台

日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。通常，日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理，例如：开

2016-05-22 00:36:39 1158