习惯了想你的博客

文章目录版本es742,在使用logstash写索引的时候，突然发现logstash日志在报错报错信息[2020-06-17T12:01:18,241][WARN ][logstash.outputs.elasticsearch] Could not index event to Elasticsearch. {:status=>400, :action=>["index", {:_id=>nil, :_index=>"bizlog-wxxcx-2020.06.17", :_t

1.根据条件删除当前消息 if "caoke" not in [docker]{ drop {} } if "caoke" != [className]{ drop {} }删除字段remove_field => ["message"]添加字段mutate{ add_field => { "timestamp" => "%{[message]}" 　　} }转换字段类型mutate{

文章目录前言背景环境准备安装headnodeNginx前言背景elasticsearch的head插件相信很多人都了解，安装完elasticsearch后用plugin命令安装一下head插件elasticsearch/bin/plugin -install mobz/elasticsearch-headopen http://localhost:9200/_plugin/head/但...

最近在做 logstash 消费 kafka 写到 es 的项目中，在 kibana 中查看发现 logstash 写入的 @timastamp 比真实服务器的时间少了8个小时。并且生成的文件中，日志切分的格式也是差了8小时。例如：2019-01-01的日志里面会写入2019-01-02 08:00:00 前的日志。因为logstash默认使用的是UTC时间。使用版本：namever...

ElasticSearch6集群搭建及问题解决集群搭建准备配置文件常见问题公司使用了es2.2版本，最近准备升级到es6.2，领导安排我来调研工作。在此之前其实对es只闻其名，从来没有在实际中运用过。集群搭建准备本次搭建基于公司配置文件常见问题...

基于logstash6.3.2的同步MySQL数据到ElasticSearch

这里写自定义目录标题背景准备启动问题启动不起来加入不了集群主分片丢失副本不恢复处理方式一处理方式二处理方式三附带Eleastisearch6.2.2 索引的时候报了一个错误：索引副本未分配的原因elasticsearch高级配置之------分片分布规则设置分片分布相关的设置：自定义分片分布规则强制分布规则分片分布过滤背景公司内网测试环境的es集群，机器性能极差，每个节点只能分配2个G的内存，...

文章目录配置规则Nginxfilebeatkafkalogstash附录logstash 相关功能urldecodelogstash 写入输出kafka范例vim快捷键参考文章需求背景：有一个对用户行为的分析需求，类似于用户在浏览某网页的时候，上报用户的行为信息。请求某个域名，参数信息带在url上面。类似于：http://www.baidu.com?content={"a:"b"}&us...