2015年10月_IT技术管理认知&技能全面升级

原创 ELKStack编码插件(Codec)

编码插件(Codec)Codec 是 logstash 从 1.3.0 版开始新引入的概念(Codec 来自 Coder/decoder 两个单词的首字母缩写)。在此之前，logstash 只支持纯文本形式输入，然后以过滤器处理它。但现在，我们可以在输入期处理不同类型的数据，这全是因为有了 codec 设置。所以，这里需要纠正之前的一个概念。Logstash 不只是一个 input

2015-10-21 10:01:07 2053

原创 ELKStack插件Json编码

采用 JSON 编码在早期的版本中，有一种降低 logstash 过滤器的 CPU 负载消耗的做法盛行于社区(在当时的 cookbook 上有专门的一节介绍)：直接输入预定义好的 JSON 数据，这样就可以省略掉 filter/grok 配置！这个建议依然有效，不过在当前版本中需要稍微做一点配置变动 —— 因为现在有专门的 codec 设置。配置示例nginx.conf 示例

2015-10-21 09:54:07 1190

原创 ELKStack读取网络数据

读取网络数据（TCP）未来你可能会用 Redis 服务器或者其他的消息队列系统来作为 logstash broker 的角色。不过 Logstash 其实也有自己的TCP/UDP 插件，在临时任务的时候，也算能用，尤其是测试环境。小贴士：虽然 LogStash::Inputs::TCP 用 Ruby 的 Socket 和 OpenSSL 库实现了高级的 SSL 功能，但 Logstash 本身

2015-10-21 09:36:08 1366

原创 ELKStack读取Syslog数据

syslog 可能是运维领域最流行的数据传输协议了。so，这里不解释如何配置你的 syslog.conf , rsyslog.conf 或者 syslog-ng.conf 来发送数据，而只讲如何把 logstash 配置成一个 syslog 服务器来接收数据。配置示例input {syslog {port => "514"｝}运行作为最简单的测试，我们先暂停一下

2015-10-20 20:57:57 4209

原创 ELKStack标准输入

标准输入配置示例：input {stdin {add_field => {"key" => "value"}codec => "plain"tags => ["add"]type => "std" }}解释:type 和 tags 是 logstash 事件中两个特殊的字段。通常来说我们会在输入区段中通过 type 来标记事件类型 —— 我

2015-10-20 20:38:14 640

原创 ELKStack读取文件

读取文件Logstash 使用一个名叫 FileWatch 的 Ruby Gem 库来监听文件变化。这个库支持 glob 展开文件路径，而且会记录一个叫.sincedb 的数据库文件来跟踪被监听的日志文件的当前读取位置。所以，不要担心 logstash 会漏过你的数据。sincedb 文件中记录了每个被监听的文件的 inode, major number, minor number 和 pos

2015-10-20 20:22:21 1513

原创 ELKStack插件collectd配置说明

collectd简述collectd 是一个守护(daemon)进程，用来收集系统性能和提供各种存储方式来存储不同值的机制。它会在系统运行和存储信息时周期性的统计系统的相关统计信息。利用这些信息有助于查找当前系统性能瓶颈（如作为性能分析 performanceanalysis ）和预测系统未来的 load（如能力部署 capacity planning ）等下面简单介绍一下: collectd

2015-10-20 18:48:14 3097

原创 ELKStack服务管理

长期运行完成上一节的初次运行后，你肯定会发现一点：一旦你按下 Ctrl+C，停下标准输入输出，logstash 进程也就随之停止了。作为一个肯定要长期运行的程序，应该怎么处理呢？本章节问题对于一个运维来说应该属于基础知识，鉴于 ELK 用户很多其实不是运维，添加这段内容。办法有很多种，下面介绍四种最常用的办法：标准的 service 方式采用 RPM、DEB 发行包安装的读者，推荐

2015-10-20 18:26:46 1312

操作系统，应用服务和业务逻辑，都在不停的产生日志数据。过去，日志数据基本都存在单机磁盘上，只能用来做临时的事后分析和审计；有 Hadoop 以后，大家渐渐习惯收集日志到 HDFS 中，然后每天运行 MapReduce 任务做统计报表；但是面对诸如“新上线的版本过去几分钟在各地反馈如何”，“昨天 23:40 左右这个投诉用户有没有异常”这种即时的开放性问题，传统的日志处理方案显得非常的笨拙和低效，因

2015-10-20 17:29:41 2159

转载 git config基本用法

Git有一个工具被称为git config，它允许你获得和设置配置变量；这些变量可以控制Git的外观和操作的各个方面。一. 配置文件的存储位置这些变量可以被存储在三个不同的位置：1./etc/gitconfig 文件：包含了适用于系统所有用户和所有库的值。如果你传递参数选项’--system’ 给 git config，它将明确的读和写这个文件。 2.~/.

2015-10-16 10:00:24 1979

转载 ELK Stack 集中日志处理

步骤 1. 理解 ELK Stack0 在设置您自己的 ELK 堆栈之前，了解一点关于该堆栈及其组件的知识会对您有所帮助。ELK Stack 由三个组件组成：Logstash、Elasticsearch 和 Kibana。Logstash 是一个用来管理日志的工具。它支持几乎任何类型的日志，包括系统日志、错误日志和自定义应用程序日志。它可以从许多来源接收

2015-10-15 09:58:44 4389

转载 c语言练手项目

C语言实现的猜拳游戏(剪子锤子布)，让你与电脑对决C语言贪吃蛇下载[带源码和解析]C语言文件加密解密软件C语言写的简单的定时关机程序C语言动态数组的实现：数组长度随数组元素改变，不会溢出，不会浪费资源一道题目，玩转C语言指针数组和指向指针的指针C语言数组灵活多变的访问形式C语言统计文件中的字符数、单词数以及总行数C语言统计输入的字符串的长度C语言输出菱形C语

2015-10-10 14:36:08 28904 7

转载关于Mongodb的全面总结

MongoDB的内部构造《MongoDB The Definitive Guide》MongoDB的官方文档基本是how to do的介绍，而关于how it worked却少之又少，本人也刚买了《MongoDB TheDefinitive Guide》的影印版，还没来得及看，本文原作者将其书中一些关于MongoDB内部现实方面的一些知识介绍如下，值得一看。今天下载了《MongoD

2015-10-09 17:52:48 66340 3

职场里拉开差距的不是知识，而是认知！