ELK
476106017
知识就是力量,分享知识则力量倍增 ——Robert Boyce
展开
-
可别filebeat了,老实用logstash
filebeat+pipeline跑半个小时处理了一万条数据进es,logstash一秒钟就能跑一万条,真是醉了原创 2021-11-18 17:42:15 · 147 阅读 · 0 评论 -
logstash处理nginx日志时,字段总是进不到ES里面,那就是你grok语句写错了!
nginx的access日志,logstash在配ngrok的时候,最初用的是COMBINEDAPACHELOG,听说是写好的匹配nginx日志,就打算拿来直接用。把logstash跑起来就发现,字段都没进es里去,message却是有的,仔细看tag标签有个提示:_grokparsefailure。哦,原来ngrok报错了。想想也是。elastic家也没有责任必须匹配nginx那么准确,nginx升个级什么的,COMBINEDAPACHELOG也不能保证更新。其实nginx默认的log_.原创 2020-07-08 18:22:26 · 680 阅读 · 0 评论 -
ES 彻底解决403报错(真)
之前写过解决es存储磁盘不够的问题,转移swap文件腾出了8g。没想到总有那天,磁盘又满了。情况比较急,有人就“怎么又是这个问题”的催。我一咬牙,直接在data.path后面加了新加的磁盘的一个目录,重启。。。没用!尽管kibana上面显示还有50多G,403还是出现了没办法,删除了之前的索引和data文件夹,data.path就直接用新目录了因为项目只用es存日志和做搜索,所以没有转移数据当然即使这样也遇到了问题,就是搜索的索引中,分词出了问题——模板丢失了!还好我p.原创 2020-06-15 17:17:05 · 2990 阅读 · 1 评论 -
es6.3 elk环境搭建,数据导入及使用中踩过的坑
环境搭建(Ubuntu):1 kibana启动时不让登陆: 没有连上es,检查kibana和es的配置文件2 报内存不足,分页不足等问题: 网上解决方案很多,查看ulimit和jvm配置数据导入:1 logstash报错: 先加-t参数测试一下,配置文件的字符串都加双引号2 logstash-jdbc导入数据库每次都是全量,sql_last_value没有变化: 如果设置...原创 2018-07-12 09:31:30 · 563 阅读 · 0 评论 -
ES对int数组进行Range搜索(体会到ES的强大!)
用ES做搜索,内容都在父子两张表(父一对多子),在设计logstash同步方案时候,碰到不少坑.很多都是中文资料的无人区,摸索了很多时间,特此记录. 父表字段搜索比较简单,match,range,boost,关键词都能直接用子表有枚举值,我用group_concat聚合到逗号分隔的字段上面,同时在es的/_template下面,给索引加模板,聚合字段用自定义的逗号分词器,需要距...原创 2018-12-14 10:12:34 · 2675 阅读 · 0 评论 -
logstash写es的时间差5或者6个小时?真正的原因原来是这个!
logstash刷数据已经刷了很久了.有一天要加一个时间字段进去加了后发现,本来是年月日的时间全部都加了5或者6个小时而且还挺有规律, January 1st 1970的这个时间全部都差6个小时, 比较近的时间全部差5个小时谷歌一下"logstash 时间差", 几乎全部是差8个小时的后来看了看logstash的配置, jdbc连接字符串后面没加参数,可能是这个原因于是加了个?...原创 2019-05-14 10:50:53 · 2052 阅读 · 3 评论 -
ES 彻底解决403报错
elasticsearch的403问题的根本原因是磁盘空间不够项目用到es也是没什么经验的, 除了几张表同步, 全部日志也往里面写. (平均一个索引差不多500M吧)终于有一天, 线上同步报错403. 查了下谷歌, 说是磁盘空间不够, 我一看, 还有3g呢, 就删除了比较老的日志索引, 按照谷歌到的read_only_allow_delete设置, 暂时解决了问题.两个月后又发生了40...原创 2019-06-17 10:59:31 · 8749 阅读 · 0 评论