2018年06月_wfs1994

12月 09月 08月 07月 06月 05月 04月

原创 Logstash常用filter插件

Filter是Logstash功能强大的主要原因，它可以对Logstash Event进行丰富的处理，比如说解析数据、删除字段、类型转换等等，常见的有如下几个：date: 日志解析grok：正则匹配解析dissect：分割符解析mutate：对字段做处理，比如重命名、删除、替换等json：按照json解析字段内容到指定字段中geoip：增加地理位置数据ruby：利用ruby代码...

2018-06-29 23:32:58 12634

原创 logstash实战之apacheLogs和csv

实战apache日志时间处理："@timestamp" => 2018-06-29T03:18:12.532Z Logstash写入日志的时间"timestamp" => "17/May/2015:10:05:47 +0000" apache日志时间需求：将timestamp赋值给@timestamp字段，但保留日志写入时间解决办法： ...

2018-06-29 22:32:54 1216

原创 Logstash 基础知识整理

相关名词： Pipeline：input-filter-output的三阶段处理流程队列管理插件生命周期管理Logstash Event：内部流转的数据表现形式原始数据在input被转换为Event，在output event被转换为目标格式数据在配置文件中可以对Event中的属性进行增删改查Logstash架构图： Batcher负责批量的从queu...

2018-06-29 21:49:35 12525 5

原创 logstasg zabbix插件详解

Logstash错误日志发送到Zabbix并报警1.安装logstash-output-zabbix logstash-output-zabbix是一个社区维护的插件，它默认不安装,但是它安装起来也很容易，直接在logstash中运行即可：./bin/logstash-plugin install logstash-output-zabbix对于内网环境，我们可以将插件打包然...

2018-06-28 10:21:14 4524 1

原创 Elasticsearch 关联关系处理：Nested Object和Parent_Child

关联关系处理ES不擅长处理管理型数据库中的关联关系，比如文章表blog与评论表comment之间通过blog_id关联，在ES中可以通过如下两种手段变相解决：Nested ObjectParent/Child评论Comment：文章Id blog_id评论人 username评论日期 date评论内容 content Nested Object关系型...

2018-06-28 09:01:59 2370 1

原创 Elasticsearch 集群调优建议

生产环境集群搭建建议1.ES设置尽量简洁 elasticsearch.yml中尽量只写必备的参数，其他可以通过api动态设置的参数都通过api来设定动态设定的参数有transient和persistent两种设置，前者在集群重启后会丢失，后者不会，但两种设定都会覆盖elasticsearch.yml中的配置。PUT /_cluster/settings{ "persiste...

2018-06-28 08:30:31 3242 1

原创 Elasticsearch 数据建模

数据建模：英文为Data Modeling，为创建数据模型的过程数据模型（Data Model）对现实世界进行抽象描述的一种工具和方法通过抽象的实体及实体之间联系的形式去描述业务规则，从而实现对现实世界的映射数据建模的过程：概念分析：确定系统的核心需求和范围边界，设计实现和实体间的关系逻辑模型：进一步梳理业务需求，确定每个实体的属性、关系和约束等物理模型：结合具体的数据...

2018-06-27 23:09:59 2080

原创 Elasticsearch Search API

实现对es中存储的数据进行查询分析，endpoint为_search，查询主要有两种形式：URI Search：操作简便，方便通过命令行测试，仅包含部分查询语法Request Body Search：es提供完备查询语法Query DSL（Domain Specific Language）GET /bank/_search?q=gender:MGET /bank/account/_...

2018-06-22 12:29:39 6623

原创 Elasticsearch Mapping设置

Mapping类似数据库中的表结构定义，主要作用如下：定义Index下的字段名（Field Name）定义字段的类型，比如数据型、字符串型、布尔型等定义倒排索引相关配置，比如是否索引、记录position等自定义mapping：Mapping中字段类型一旦设定后，禁止直接修改（Lucene实现的倒排索引生成后不允许修改）重新建立新的索引，然后做reindex操作允许...

2018-06-21 22:30:34 8978

原创倒排索引与分词

倒排索引正排索引：文档ID到文档内容、单词的关联关系倒排索引：单词到文档ID的关联关系倒排索引查询流程：（以查询包含“搜索引擎”的文档为例）通过倒排索引获得“搜索引擎”对应的文档ID有1和3通过正排索引查询1和3的完整内容返回用户最终结果倒排索引是搜索引擎的核心，主要包含两部分：单词词典（Term Dictionary）（一般由B+Tree实现）记录所有文...

2018-06-20 22:11:57 2453

转载 etcd集群部署

转载地址：https://blog.csdn.net/yjk13703623757/article/details/54142242 简介 Etcd是一个高可用的 Key/Value 存储系统，主要用于分享配置和服务发现。 ● 简单：支持 curl 方式的用户 API (HTTP+JSON) ● 安全：可选 SSL 客户端证书认证 ● 快速：单实例可达每秒1000次写操作 ...

2018-06-13 21:59:23 454

转载 etcd使用简介

转载地址：一路博客（http://www.16boke.com） https://blog.csdn.net/wyc_cs/article/details/75003868 一、下载安装直接到github上找到etcd的3.0.4版本：wget https://github.com/coreos/etcd/releases/download/v3.0.4/etcd-v3.0.4...

2018-06-13 17:12:24 716

原创 Docker实战(三)Docker 跨主机网络overlay、macvlan和flannel

跨主机网络概述docker跨主机网络方案包括：docker 原生的 overlay 和 macvlan。第三方方案：常用的包括 flannel、weave 和 calico。docker通过libnetwork 以及 CNM 将众多方案集成在一起。libnetwork 是 docker 容器网络库，最核心的内容是其定义的 Container Network Model (CN...

2018-06-12 22:02:33 11424

原创 Docker(八)Docker Machine 多主机管理

安装docker-machine

2018-06-11 22:42:14 2301

转载 Docker 配置网络 - 使用 overlay 网络

转载地址：https://blog.csdn.net/kikajack/article/details/79372116原文地址overlay 网络驱动程序在多个 Docker 守护进程主机之间创建一个分布式网络。这个网络在允许容器连接并进行安全通信的主机专用网络之上（overlay 覆盖在上面）。Docker 透明地处理每个 Docker 守护进程与目标容器之间的数据包的路由。当初始...

2018-06-07 14:25:37 1540

转载 python爬虫常用第三方库

这个列表包含与网页抓取和数据处理的Python库网络通用urllib &nbsp;-网络库(stdlib)。requests &nbsp;-网络库。grab &nbsp;–网络库（基于pycurl）。pycurl &nbsp;–网络库（绑定libcurl）。urllib3 &nbsp;– Pytho...

2018-06-06 22:11:58 905

原创 Docker三剑客：Compose、Machine和Swarm

Docker三大编排工具：Docker Compose：是用来组装多容器应用的工具，可以在 Swarm集群中部署分布式应用。Docker Machine：是支持多平台安装Docker的工具，使用 Docker Machine，可以很方便地在笔记本、云平台及数据中心里安装Docker。Docker Swarm：是Docker社区原生提供的容器集群管理工具。Docker Compose...

2018-06-06 22:00:23 19224 2

原创 Docker实战(一)基于docker的web应用和发布

使用Docker部署一个以Tomcat 为服务器的支持HTTPS的web站点。其原理和在普通服务器上部署类似，只需要将自己开发的软件包放到Tomcat 工程目录下即可。不同的是，Tomcat服务器要在容器中启动，相应的工程源码也要导入到容器中。1.选择基础镜像 docker pull tomcat docker pull -a tomcat #把tomcat的所有...

2018-06-06 19:59:20 8544 1

转载 CentOS7 安装Docker社区版

转载地址：https://blog.csdn.net/wh211212/article/details/78662605 Docker CE for CentOS特点和优点轻松安装和设置优化的Docker环境，以便在裸机服务器和虚拟机上进行CentOS分发。最新的Docker平台版本，具有内置的业务流程...

2018-06-06 15:37:25 290

Dockerfile 由一行行命令语句组成，并且支持以#开头的注释行。一般的，Dockerfile 分为四部分：基础镜像信息、维护者信息、镜像操作指令和容器启动时执行指令。如果使用Dockerfile来构建镜像，Dockerfile的第一条有效信息（注释除外）必须是基础镜像信息，维护者信息紧随其后。而镜像操作指令则在维护者信息之后因为操作指令的不同，自然会构建出千差万别的镜像来。最后是镜像启动...

2018-06-05 21:27:35 249

原创 ELK日志分析平台加入Kafka消息队列

在之前的搭建elk环境中，日志的处理流程为：filebeat --> logstash --> elasticsearch,随着业务量的增长，需要对架构做进一步的扩展，引入kafka集群。日志的处理流程变为：filebeat --> kafka --> logstash --> elasticsearch。架构图如下所示： Kafka: 数据缓冲队列。作为...

2018-06-03 15:01:04 2701 2

原创 Kafka基础知识及环境搭建

基础入门Kafka介绍一个高性能、高吞吐量的分布式消息订阅/发布平台下载地址：http://kafka.apache.org/downloadsKafka是一个分布式流媒体平台，流媒体平台有三个关键功能：发布和订阅记录流，类似于消息队列或企业消息传递系统。以容错持久的方式存储记录流。处理记录发生的流。Kafka通常用于两大类应用：构建可在系统或应用...

2018-06-01 16:21:56 1217