- 博客(22)
- 收藏
- 关注
RSS订阅原创 ELK大规模日志实时处理系统应用简介
系统采用的架构方案：其中 Filebeat 部署在具体的业务机器上，通过定时监控的方式获取增量的日志，并转发 push 到 Redis 的一个 list 对象中暂存。Redis 以高读写性能以及拥有支持 push/pop 操作的 list 数据结构的特征，作为一个缓冲队列的角色，接收所有从 Filebeat 收集转发过来的日志。1. 下载并配置 Filebeat，开启日志增量监控
2016-10-26 12:18:23
745
原创 Logstash过滤器--grok
参考链接https://www.elastic.co/guide/en/logstash/current/plugins-filters-grok.html
2016-10-25 12:00:50
672
1
原创 Logstash过滤器--mutate
mutate过滤器能够帮助你修改指定字段的内容。 该过滤器指定配置：mutate {}参数配置1. add_tag2. convert类型是哈希，没有默认设置。改变字段的类型，比如说把string编程integer。如果字段值是数据，那么所有的值都会被改变。如果字段是哈希类型。什么也不做。boolean只接受下面的类型： True: true, t, yes, y, and 1 Fal
2016-10-25 11:00:37
15500
原创 Logstash过滤器--Geoip
Geoip过滤器可以给IP地址添加地理位置信息，包括归属地、经纬度等。Geoip参考的数据库是Maxmind，同时它也可以让用户设置自己的查询数据库。Geoip的基本配置：geoip { source => ...}配置参数：1. add_fieldfilter { geoip { add_field => { "foo_%{somefield}" => "Hello worl
2016-10-25 10:40:42
5737
原创 Logstash学习--Filter
date过滤器date过滤器的用途是从某些字段中解析出时间，然后用这个时间作为事件（event）的时间戳。但是要从某个字段中解析时间，要告诉date时间的格式，这样它才能根据指定的格式获取时间。比如说某字段的数据格式是这样的："Apr 17 09:32:01"你要告诉date，你去哪个字段上解析时间，并且时间的格式是：MMM dd HH:mm:ss时间戳对一个事件很重要，可以帮助你实现sorting
2016-10-25 10:19:13
7989
原创 ELK日志检索系统--FileBeat配置说明
0. FileBeat使用说明FileBeat是一个日志收集器，基于Logstash-Forwarder的源代码。FileBeat一般以代理的身份运行在服务器中，并监视用户指定的目录、文件，同时把日志文件更新部分推送给Logstash解析或者直接推送给ES索引。FileBeat的工作方式： 当FileBeat在服务器上启动后，它同时启动一个或者多个prospectors来监视用户指定的日志文件目录
2016-10-24 23:31:46
7965
原创 Logstash插件--input file
前篇介绍过Logstash的使用，本篇继续深入，介绍下最常用的input插件——file。这个插件可以从指定的目录或者文件读取内容，输入到管道处理，也算是logstash的核心插件了，大多数的使用场景都会用到这个插件，因此这里详细讲述下各个参数的含义与使用。最小化的配置文件在Logstash中可以在 input{} 里面添加file配置，默认的最小化配置如下：input { file {
2016-10-24 20:50:01
589
原创 ELK日志检索系统--Logstash配置说明一
Logstash是一款轻量级的日志搜集处理框架，可以方便的把分散的、多样化的日志搜集起来，并进行自定义的处理，然后传输到指定的位置，比如某个服务器或者文件。本文针对官方文档进行翻译以及实践，希望有更多的有用户了解、使用这款工具。1. 下载、安装、使用这款工具是开箱即用的软件，下载自己对应的系统版本即可。下载地址：https://www.elastic.co/downloads/logstash。下载
2016-10-24 15:12:11
2252
原创 初始化
初始化Flask程序创建一个Flask类的对象，使用WSGI协议把客户端的所有请求转发给这个对象。from flask import Flaskapp = Flask(__name__)Flask类的构造函数只有一个必须制定的参数，即程序主模块或包的名字。 Flask 用这个参数决定程序的根目录，以便稍后能够找到相对于程序根目录的资源文件位置。路由和视图函数客户端把请求发送给Web服务器，Web
2016-10-22 01:46:38
5353
原创 VIM基础配置，问题总结
在写python代码的时候，用# 号注释的时候，# 号自动跑当行首。" for # indent, python文件中输入新行时#号注释不切回行首autocmd BufNewFile,BufRead *.py inoremap # X<c-h>#
2016-10-21 11:02:36
529
原创 VIM插件: NERDTREE[树形目录]
VIM插件: NERDTREE[树形目录]nerdtree树形目录插件能够在vim下浏览文件系统的所有文件，并能够打开文件。同时可以通过配置nerdtree过滤一些文件不被树形结构浏览。github：The NERD Tree。安装Bundle 'scrooloose/nerdtree'使用在打开文件的时候，通过定制的快捷键打开目录检索树，方便查看文件。示例：最终配置Bundle 'scrooloo
2016-10-21 01:58:21
7524
原创 VIM插件: QUICKRUN[快速执行]
VIM插件: QUICKRUN[快速执行]作用: 快速执行当前文件, 例如.py/.rb/*.sh等等, 用于快速验证一些代码实现。github: vim-quickrun。安装Bundle 'thinca/vim-quickrun'使用配置使用message进行结果展示, 即： 展示运行结果后, 按任意键回到vim编辑。同时, 映射r以及F10快捷键在快速编写验证性代码时非常有用演示：最终配置Bu
2016-10-21 00:45:46
4375
原创 机器学习实战python环境配置
机器学习实战python环境配置机器学习是数据挖掘的一种实现形式，在学习《机器学习实战》过程中,需要Python环境中安装好numpy和matplotlib库,特此将我在Ubuntu 16.04 64bit上的摸索过程总结如下:在Debian/Ubuntu系统下安装Python, Numpy和Matplotlib的最佳方式是使用apt-get等软件包管理器. 避免源码包形式的安装, 因为包的依赖关系
2016-10-20 11:08:25
686
原创 获取镜像
https://www.gitbook.com/book/yeasy/docker_practice/detailshttp://blog.saymagic.cn/2015/06/01/learning-docker.html它基于 Google 公司推出的 Go 语言实现。首先，Docker 容器的启动可以在秒级实现，这相比传统的虚拟机方式要快得多。 其次，Docker 对系统资源的利用率很高，一
2016-10-20 00:26:40
636
原创 VIM插件: NERDCOMMENTER[快速注释]
VIM插件: NERDCOMMENTER[快速注释]最经常用的插件之一作用: 快速注释/解开注释github: nerdcommenter安装Bundle 'scrooloose/nerdcommenter'使用使用默认的快捷键, 不需要自己绑定。 如果多行注释，先ctrl+v进入visual模式，然后选中多行。<leader>cc 加注释<leader>cu 解开注释<leader>c
2016-10-19 00:52:05
4452
原创 初识docker--Ubuntu16.04
有了一次YouCompleteMe的安装经历，我忽然觉得Ubuntu的apt-get软件管理很强大，相比之下Centos的yum很烂。所以docker的学习打算用最新版的Ubuntu系统，所用的版本为16.04。由于官网的镜像下载很慢，所有用国内的这个地址：DaoCloud。拉取下来Ubuntu之后，直接apt-get update 更新一下下载源，然后通过apt-get install vim 安
2016-10-17 21:27:25
890
原创 VIM插件: YouCompleteMe[代码自动补全]
自从转入终端编程，最令我头疼的就是代码补全的问题，vc6.0中有assist X插件，简单安装就可以完美代码补全；vs中自带代码补全功能。到了后台server + 模拟终端编程的模式，完全找不到了方法。代码写的很是痛苦。 痛点：前面定义了一个变量，后面用的时候忽然忘记这个变量的名字了，于是不得不翻回去查这个变量。更有时候这个变量的名字很长，记不住啊，逼得我把名字写在纸上，费了老劲了。后来使用了
2016-10-17 20:35:26
14549
1
原创 CentOS 6.x 升级Python2.6.x到Python2.7.x
CentOS 6.X 自带的python版本是 2.6 , 由于工作需要，很多时候需要2.7版本。所以需要进行版本升级。由于一些系统工具和服务是对 Python 有依赖的，所以升级 Python 版本需要注意。升级步骤 如何欢乐的，没有痛苦的升级python版本 ，往下看 …1. 更新系统和开发工具集更新指令，并安装必要的开发工具，比如gcc等：yum -y updateyum groupi
2016-10-15 14:34:04
470
原创 VIM插件: DELIMITMATE[符号自动补全]
作用: 自动补全引号(单引号/双引号/反引号), 括号(()[]{})。1. 安装Bundle 'Raimondi/delimitMate'2. 使用被动技能, 在编辑输入的时候触发问题: 如何在结束输入后, 自动跳转到符号后面 触发后, 假设你要跳到补全后的符号后面继续编辑, 按Shift-Tab。与xshell的切换tab快捷键冲突。使用示例：# 1. 按", 自动补全"|"# 2.输入
2016-10-14 21:17:16
3803
原创 CentOS-6.x安装配置JDK-8
一、安装说明系统环境：centos-6.x 安装方式：rpm安装 软件：jdk-8u101-linux-x64.rpm 下载地址：http://www.oracle.com/technetwork/java/javase/downloads/index.html二、检验系统原有JDK版本[root@admin ~]# java -versionjava version "1.6.0_24"
2016-10-13 00:35:00
466
原创 linux运维--crontab原理与使用
https://segmentfault.com/a/1190000002724336http://zhouyuqin.blog.51cto.com/5132926/1075249
2016-10-11 15:02:40
750
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人