logstash+elasticsearch+kibana
是金子早晚要花光
世上事贵在恒,有恒则无事不成
展开
-
ELK中logstash下的grok正则表达式总结
首先,我的web项目打印的日志是这样的:2016-11-30 11:10:44,568 INFO [org.springframework.web.servlet.DispatcherServlet] - 这样的格式是由于我使用的是log4j.properties配置的是# Pattern to output: date priority [category] - messagel原创 2016-12-01 15:35:22 · 24435 阅读 · 7 评论 -
ES报错dangling index, exists on local file system, but not in cluster metadata, auto import to cluster
先这里把unassigned_shards的节点手动删除掉,然后重新配置你的集群这是应急之策,暂时留用,之后理解后重新解决原创 2016-12-20 13:43:32 · 3702 阅读 · 0 评论 -
分布式搜索elasticsearch几个概念解析
介绍下es的几个概念:cluster 代表一个集群,集群中有多个节点,其中有一个为主节点,这个主节点是可以通过选举产生的,主从节点是对于集群内部来说的。es的一个概念就是去中心化,字面上理解就是无中心节点,这是对于集群外部来说的,因为从外部来看es集群,在逻辑上是个整体,你与任何一个节点的通信和与整个es集群通信是等价的。shards 代表索引分片,es可以转载 2016-12-08 15:10:41 · 342 阅读 · 0 评论 -
elasticsearch的基本概念
elasticsearch的基本概念:8.1索引: 在Elasticsearch中,索引是具备某些共同特征的文档集。 每一个索引包含多个类型,每个类型相应的包含多个文档,每个文档又包含多个字段。在Elasticsearch中,一个索引包含多个JSON格式的文档。在elasticsearch集群中的索引数量可以是任意的。 在ELK中,将原创 2016-12-08 15:06:35 · 356 阅读 · 0 评论 -
分布式搜索elasticsearch集群监控工具bigdesk
bigdesk是elasticsearch的一个集群监控工具,可以通过它来查看es集群的各种状态,如:cpu、内存使用情况,索引数据、搜索情况,http连接数等。项目git地址: https://github.com/lukas-vlcek/bigdesk。和head一样,它也是个独立的网页程序,使用方式和head一样。插件安装运行:1.bin/plugin -install lukas-转载 2016-12-08 15:00:59 · 383 阅读 · 0 评论 -
Kibana基本使用
现在你已经安装了Kibana,现在你一步步通过本教程快速获取Kibana核心功能的实践经验。学习完本教程,你将: 1.加载案例数据到你安装的Elasticsearch中 2. 定义至少一个索引匹配模式 3.使用Discover功能探索你的数据 4.建立一个visualization图形化转载 2016-12-08 14:53:37 · 6079 阅读 · 3 评论 -
elasticsearch高级配置之线程池设置
一个Elasticsearch节点会有多个线程池,但重要的是下面四个:索引(index):主要是索引数据和删除数据操作(默认是cached类型)搜索(search):主要是获取,统计和搜索操作(默认是cached类型)批量操作(bulk):主要是对索引的批量操作(默认是cached类型)更新(refresh):主要是更新操作(默认是cached类型)可以通过给设置一个参数来转载 2016-12-08 14:57:50 · 3003 阅读 · 1 评论 -
分布式搜索elasticsearch配置文件elasticsearch.yml详解
配置文件位于%ES_HOME%/config/elasticsearch.yml文件中,用Editplus打开它,你便可以进行配置。 所有的配置都可以使用环境变量,例如:node.rack: ${RACK_ENV_VAR} 表示环境变量中有一个RACK_ENV_VAR变量。 下面列举一下elasticsearch的可配置项:转载 2016-12-08 14:09:02 · 1284 阅读 · 0 评论 -
reason=>"Expected one of #, input, filter, output at line 1, column 1 (byte 1) after "}
新手使用logstash容易看到的错误,我是在windows下操作的,看到这个错误,经测试是文件格式问题。Windows文件默认是utf8 。将文件格式改为:ansi格式就可以了。程序可以正常运行bin\logstash -f ./config/test.conf原创 2016-11-15 21:51:41 · 6999 阅读 · 3 评论 -
Elasticsearch1.7集群搭建
3个服务器做3个节点,cluster.name: esnode.name: node-01node.master: truenode.data: falsenetwork.host: 0.0.0.0discovery.zen.ping.unicast.hosts: ["10.10.14.9"]discovery.zen.ping.multicast.enabled: true原创 2016-12-20 18:29:27 · 851 阅读 · 0 评论