Elastic stack
文章平均质量分 68
lyzkks
喜欢分享技术,欢迎与我交流!!!
展开
-
ELK简介
概述日志对于分析系统及应用状态十分重要,但一般日志的数据量会比较大,并且分散在各个地方。如果管理的服务器或者程序比较少的情况我们还可以逐一登录到各个服务器去查看,分析。但如果服务器或者程序的数量比较多了之后这种方法就显得力不从心。基于此,一些集中式的日志系统也就应用而生。目前比较有名成熟的有,Splunk(商业)、FaceBook 的Scribe、Apache 的 Chukwa...原创 2018-05-09 14:31:41 · 1058 阅读 · 0 评论 -
logstash篇之监控运维
apilogstash 提供了丰富的api来查看logstash的状态。 x-packlogstash的x-pack插件也提供了logstash相关的监控功能,将在kibana中以图形方式展现,弥补了api不直观的功能。安装使用如下命令:logstash-plugin install x-pack 安装完成后修改logstash配置文件:# 在最后的 ...原创 2018-07-22 13:40:48 · 7850 阅读 · 0 评论 -
kibana篇之数据探索Discover
导入测试数据这里使用官方的测试数据进行导入,教程在 测试数据教程导入模板PUT /logstash-2015.05.18{ "mappings": { "log": { "properties": { "geo": { "properties": { "coordinates": {原创 2018-07-29 12:30:06 · 2989 阅读 · 0 评论 -
logstash篇之插件
input插件input 插件指定数据的输入源,一个pipeline可以有多个input插件。stdin举例: file配置 glob匹配语法举例 kafkakafka是最流行的消息队列。 codec 插件codec插件作用域input和output插件,负责将数据在原始与logstash ev...原创 2018-07-15 13:05:35 · 8327 阅读 · 0 评论 -
logstash篇之入门与运行机制
介绍简介logstash 是一个数据收集处理引擎。 工作流程分为三个阶段 处理流 pipelinepipeline 是input-filter-output的三个阶段的处理流程,包含队列管理、插件生命周期管理。logstash event原始数据进入logstash后在内部流转并不是以原始数据的形式流转,在input处被转换为event,在outp...原创 2018-07-14 16:23:36 · 17002 阅读 · 0 评论 -
elasticsearch的分布式特性
分布式特性es本身支持集群模式,是一个分布式系统,主要有两个好处:增大系统容量,如内存、磁盘,使es集群可以支持PB的数据提高系统的可用性,即使部分节点停止服务也不影响整个集群es集群由多个es实例构成:不同的集群通过名字来区分,可通过cluster.name进行修改,默认为elasticsearch;每个es实例本质上是一个JVM进程,且有自己的名字,可通过node...原创 2018-06-23 17:08:48 · 586 阅读 · 0 评论 -
elasticsearch篇之SearchAPI
Search APISearch API功能Search API 实现了对es中存储的数据进行查询分析,endpoint为 _search 第一种是对es中所有的数据进行查询 第二种是对指定的index查询 第三种是对多个index同时查询 第四种是对指定通配符的index进行查询查询的两种形式URI Search操作简便,方便通过命令进行测...原创 2018-05-19 21:37:22 · 688 阅读 · 2 评论 -
elasticsearch篇之正/倒排索引与分词
倒排索引与分词类似于书的目录,目录能够方便的定位哪一章节或哪一小节的页码,但是无法定位某一关键字的位置。有一些书的最后有索引页,它的功能就是帮助定位某些关键字出现的位置。目录页对应正排索引 索引页对应倒排索引正排索引和倒排索引对于搜索引擎来讲:正排索引是文档 Id 到文档内容、单词的关联关系。也就是说可以通过 Id获取到文档的内容。倒排索引是单词到文档 Id ...原创 2018-05-11 15:52:05 · 4020 阅读 · 1 评论 -
elasticsearch篇之mapping
什么是mappingmapping是类似于数据库中的表结构定义,主要作用如下:定义index下的字段名定义字段类型,比如数值型、浮点型、布尔型等定义倒排索引相关的设置,比如是否索引、记录position等查看mappingGET /[index_name]/_mapping 其中 keyword表示部分次的字符串类型自定义mapping...原创 2018-05-17 18:01:37 · 47062 阅读 · 17 评论 -
Logstash
简介Logstash也是一个数据收据的工具,但是它会比beats占用更多的资源,同时更能也更强大。Logstash会对数据进行提取、转换和输出。官方定义是:一个数据处理流,能够同时从多个源提取、转换、发送数据。处理流程Input支持从file,redis,beats,kafka等读取数据。Filter这一环是远强于Beats的地方,它支持: - gro...原创 2018-05-10 21:20:18 · 249 阅读 · 0 评论 -
Beats
Beats概述什么是Beats官方定义是:轻量级数据传送工具。Beats其实是一组beat工具的统称,它包含有很多的工具。beat工具Filebeat:针对日志文件Metricbeat:度量数据,可以搜集系统性能和软件数据,将这些数据存在Elasticsearch中就可以进行展示、告警等功能。Packetbeat:网络数据,比如抓包Winlogbeat:主要针对Wi...原创 2018-05-10 17:31:03 · 1263 阅读 · 0 评论 -
Kibana安装与配置
下载kibana进入官网下载或者使用下面的命令下载,这里使用的是5.6.3 Linux版本:wget https://artifacts.elastic.co/downloads/kibana/kibana-5.6.3-linux-x86_64.tar.gz安装配置kibana解压tar zxf kibana-5.6.3-linux-x86_64.tar.gz ...原创 2018-05-10 14:01:10 · 4960 阅读 · 0 评论 -
安装与配置Elasticsearch
下载ElasticsearchElasticsearch 属于 elastic 公司,进入该公司的官网 www.elastic.co。在这里可以清楚啊的看到Elastic Stack产品的各个组件和功能 点击Download按钮进入下载界面,这里我选择下载使用的版本为:Elasticsearch 5.6.3的tar包。也可以使用命令在服务器上直接下载:wget https...原创 2018-05-10 11:01:45 · 577 阅读 · 0 评论 -
elasticsearch增删改查
elasticsearch的CRUD操作CRUD操作就是增、删、改、查。create创建文档POST /accounts/person/1{ "name":"John", "lastname":"Doe", "job_description":"Linux Developer"} 在accounts这个index下的person这个type创建了原创 2018-05-10 14:50:28 · 1495 阅读 · 0 评论 -
Elasticsearch和其支持的RESTful API
Elasticsearch概念及特点什么是ElasticsearchElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安...原创 2018-05-09 16:55:05 · 771 阅读 · 0 评论 -
kibana
kibana线上部署推荐架构kibana页面Index Patterns在kibana页面中,Index Patterns 是用来定义索引匹配的。 点击进入这个功能的页面后,大体分为2个部分,左侧是创建按钮和已创建索引的部分,右边是具体某一索引的详情。 右侧有三个部分,第一部分是fields字段,第二段是scripts fields脚本字段,第三段source ...原创 2018-07-22 15:27:27 · 740 阅读 · 1 评论