ElasticSearch(ELK集群)
文章平均质量分 77
后打开撒打发了
有些人注定要生活在彼岸 可以亲近可以爱怜 甚至可以穷尽一生去思念 只是无法触及 有些距离 注定不能跨越 只能俩俩相望 就像有些爱只能养在心里 长在眼中 不要捧在手里 放在身边 注定只能邂逅 无法遭遇
展开
-
ELK研究(一):elasticsearch java api接口操作ES集群 ---TransportClient的使用介绍 bulk批量提交数据
Java client操作ES: 1:配置集群对象信息;2:创建客户端;3:查看集群信息1:集群名称 默认集群名为elasticsearch,如果集群名称和指定的不一致则在使用节点资源时会报错。In order to enable sniffing, set client.transport.sniff to true:Settin原创 2017-11-09 11:13:23 · 2577 阅读 · 0 评论 -
log4j2通过tcp发送json日志到logstash Elasticsearch
参考资料(官网):https://www.elastic.co/guide/en/logstash/6.0/plugins-inputs-tcp.html通过tcp的发送数据到logstash需要设置好ip+port就好,用你熟悉的方式发送数据即可。log4j2 tcp 方式 发送json数据到logstashlog4j2.xml的配置参考Configuration>原创 2017-11-28 10:04:11 · 5198 阅读 · 2 评论 -
ELK系统设计:Elasticsearch+logstash + Kibana+Grafana技术架构
项目组要设计一套数据监控平台,一下是本人初步设计的技术架构图。各个组件怎么使用请关注后续文章。消息通过3中方式导入集群:1、消息解析之后直接通过Client API接口导入ES集群。2、消息解析存储到文件,存储格式为json、csv等等格式,通过logstash 监控文件收集数据到ES集群。3、消息解析之后直接通过log4j2的tcp传送到logstash,logstash过滤采样原创 2017-11-27 15:42:18 · 3095 阅读 · 0 评论 -
Open-falcon安装(Open-Falcon超级详细安装步骤)
一、go环境部署1、go环境的安装,安装open-falcon之前配置go环境下载go包,http://www.golangtc.com/download 老被墙没办法,百度最新安装包,云盘之类的下载一个对应系统版本下载即可。https://pan.baidu.com/s/1pL0Ca4V?errno=0&errmsg=Auth Login Sucess&&bduss=&ssn原创 2017-12-20 15:38:20 · 12111 阅读 · 0 评论 -
Logstash学习记录--logstash input output filter 插件总结
https://www.elastic.co/guide/en/logstash/current/index.html一:什么是Logstash1. logstash 是什么?Logstash 是有管道输送能力的开源数据收集引擎。它可以动态地从分散的数据源收集数据,并且标准化数据输送到你选择的目的地。它是一款日志而不仅限于日志的搜集处理框架,将分散多样的数据搜集自定义处理并转载 2017-11-22 17:32:57 · 6404 阅读 · 1 评论 -
logstash的安装使用、收集json日志、csv日志总结
1、logstash在官网直接下载解压即可使用[elk_test@hadoop2 14:20 ~]$tar -zxvf logstash-5.6.3.tar.gz [elk_test@hadoop2 14:21 ~]$cd logstash-5.6.3启动logstash监控文件。./bin/logstash -f my.config其中 -f 参数后面接你配置文原创 2017-11-22 17:15:58 · 4156 阅读 · 0 评论 -
Elasticsearch、Logstash、Kibana、Filebeat的使用总结
ELK是什么?ELK Stack是软件集合Elasticsearch、Logstash、Kibana的简称,由这三个软件及其相关的组件可以打造大规模日志实时处理系统。ElasticSearch:是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发原创 2017-12-01 17:15:31 · 5061 阅读 · 2 评论 -
elasticsearch bulk数据--ES批量导入json数据
一、Bulk API官网给出的介绍:https://www.elastic.co/guide/en/elasticsearch/reference/6.0/docs-bulk.htmlThe REST API endpoint is /_bulk, and it expects the following newline delimited JSON (NDJSON) structur原创 2017-11-22 15:13:45 · 11544 阅读 · 2 评论 -
ElasticSearch5.6.3的安装部署以及集群部署、ElasticSearch-head的安装
一、ElasticSearch5.6.3下载安装步骤 说明:ElasticSearch的运行不能用root执行,自己用useradd命令新建一个用户如下所示:sueradd chenpasswd chen 然后根据提示输入密码即可下载地址:https://www.elastic.co/downloads/elasticsearch 下载最新的安装包并解压、然后执行、命令如下:wget http原创 2017-11-03 17:38:01 · 12150 阅读 · 0 评论 -
Filebeat中文指南
一、概述Filebeat是一个日志文件托运工具,在你的服务器上安装客户端后,filebeat会监控日志目录或者指定的日志文件,追踪读取这些文件(追踪文件的变化,不停的读),并且转发这些信息到elasticsearch或者logstarsh中存放。以下是filebeat的工作流程:当你开启filebeat程序的时候,它会启动一个或多个探测器(prospectors)去检测你指定的日志转载 2017-11-22 15:46:21 · 2451 阅读 · 0 评论 -
Logstash收集json格式日志文件如何写配置文件
1、日志格式{"10190":0,"10071":0,"10191":0,"10070":0,"48":"136587","type":"136587","10018":0}我们如果收集这个日志只是做简单的配置。如下:input { file { path => ["/home/elk/logstash-5.6.3/request"] ty原创 2017-11-22 15:05:52 · 5092 阅读 · 0 评论 -
ES优化总结(特别是在bulk大量数据到ES的时候),持续续更新中。。。。
1、refresh时间间隔优化点: 减少刷新频率,降低潜在的写磁盘性能损耗, 默认的刷新时间间隔是1s,对于写入量很大的场景,这样的配置会导致写入吞吐量很低,适当提高刷新间隔,可以提升写入量,代价就是让新写入的数据在60s之后可以被搜索,新数据可见的及时性有所下降。在bulk大量数据到ES集群的时候可以关闭刷新频率,把其值设置为-1就是关闭了刷新频率,在导入完之后设置成合理的值即可,例原创 2017-11-22 13:45:11 · 37263 阅读 · 0 评论 -
日志收集器Filebeat详解
一、简介1、Beats是elastic公司的一款轻量级数据采集产品,它包含了几个子产品:1)packetbeat(用于监控网络流量)2)filebeat(用于监听日志数据,可以替代logstash-input-file)3)topbeat(用于搜集进程的信息、负载、内存、磁盘等数据)4)winlogbeat(用于搜集windows事件日志)注:社区还转载 2017-11-22 13:38:28 · 7981 阅读 · 2 评论 -
ELK研究(一):elasticsearch java api接口操作ES集群 ---TransportClient的使用介绍 bulk批量提交数据
Java client操作ES: 1:配置集群对象信息;2:创建客户端;3:查看集群信息 1、设置集群名字 默认集群名为elasticsearch,如果集群名称和指定的不一致则在使用节点资源时会报错。Settings settings = Settings.builder() .put("cluster.name", "myClusterName").build();T原创 2017-11-09 21:00:56 · 5157 阅读 · 0 评论 -
lucene学习总结篇--lucene全文检索的基本原理和lucene API简单的使用
一、常用的jar包先介绍一下常用的几个文件jar包。下面有maven pom.xml参考lucene-core:其中包括了常用的文档,索引,搜索,存储等相关核心代码lucene-analyzers-common:这里面包含了各种语言的词法分析器,用于对文件内容进行关键字切分,提取。lucene-highlighter:这个jar包主要用于搜索出的内容高亮显示。原创 2018-01-05 18:59:16 · 4070 阅读 · 0 评论