ELK
墙角一直霉
这个作者很懒,什么都没留下…
展开
-
ELK简单调优
ES配置文件xpack.security.enabled: true #允许安全验证 bootstrap.memory_lock: true #开启内存锁,防止使用交换分区 bootstrap.system_call_filter: false #重启时系统禁止调用过滤器transport.tcp.compress: true #设置压缩...原创 2018-05-23 20:09:09 · 522 阅读 · 0 评论 -
ES问题处理
elasticsearch 节点重启问题ElasticSearch集群的高可用和自平衡方案会在节点挂掉(重启)后自动在别的结点上复制该结点的分片,这将导致了大量的IO和网络开销。如果离开的节点重新加入集群,elasticsearch为了对数据分片(shard)进行再平衡,会为重新加入的节点再次分配数据分片(Shard), 当一台es因为压力过大而挂掉以后,其他的es服务会备份本应那台es保...原创 2019-08-14 15:14:54 · 533 阅读 · 0 评论 -
kafka+zookeeper+filebeat集群
环境ElasticSearch集群的高可用和自平衡方案会在节点挂掉(重启)后自动在别的结点上复制该结点的分片,这将导致了大量的IO和网络开销。如果离开的节点重新加入集群,elasticsearch为了对数据分片(shard)进行再平衡,会为重新加入的节点再次分配数据分片(Shard), 当一台es因为压力过大而挂掉以后,其他的es服务会备份本应那台es保存的数据,造成更大压力,于是整个集群...原创 2019-08-14 15:13:47 · 220 阅读 · 0 评论 -
Elasticsearch之如何合理分配索引分片
Elasticsearch之如何合理分配索引分片 大多数ElasticSearch用户在创建索引时通用会问的一个重要问题是:我需要创建多少个分片?在本文中, 我将介绍在分片分配时的一些权衡以及不同设置带来的性能影响. 如果想搞清晰你的分片策略以及如何优化,请继续往下阅读.为什么要考虑分片数分片分配是个很重要的概念, 很多用户对如何分片都有所疑惑, 当然是为了让分配更合理. 在生...转载 2019-02-21 16:59:40 · 482 阅读 · 0 评论 -
docker搭建elk
1.制作logstash镜像 FROM logstash:5.6COPY logstash.conf /some/config-dir/CMD ["-f","/some/config-dir/logstash.conf"] logstash.conf input { tcp { port => 4567 }}...原创 2018-12-12 09:59:34 · 330 阅读 · 0 评论 -
head插件
下载head插件wget https://github.com/mobz/elasticsearch-head/archive/master.zip安装nodewget https://npm.taobao.org/mirrors/node/latest-v4.x/node-v4.4.7-linux-x64.tar.gztar -zxvf node-v4.4.7-linux-x64.tar.gz...原创 2018-05-25 18:57:14 · 476 阅读 · 0 评论 -
filebeat设置
#收集配置filebeat.prospectors:- input_type: log paths: - /data/trade/app/tradeserver/logs/*.log - /data/trade/app/scheduleserver/logs/*.log - /data/trade/app/bankprocessor/logs/*.log -...原创 2018-05-23 20:19:02 · 782 阅读 · 0 评论 -
X-Pack激活
1.上传我们的证书X-pack监控是免费的,所以我们可以申请一个免费1年的监控证书curl -XPUT -u elastic 'http://<host>:<port>/_xpack/license' -H "Content-Type: application/json" -d @license.json2.确认我们的证书curl -XPUT -u elastic 'ht...原创 2018-05-23 20:18:27 · 569 阅读 · 0 评论 -
ELK安装
1.简介ELK的工作流程:logstash获取日志信息,进行筛选,传给elasticsearch,然后kibana从elasticsearch获取数据,通过web界面展示出来,beat套件是负责收集的一套工具。2.filebeat安装依赖:jdk7filebeat是负责收集主机上的数据,应为filebeat配置简介,依赖环境低,可以将多台filebeat收集到的日志信息,传输给logstash进行...原创 2018-05-23 20:16:37 · 405 阅读 · 0 评论 -
ELK获取nginx日志
log_format json '{"@timestamp":"$time_iso8601",' '"host":"$server_addr",' '"clientip":"$remote_addr",' '"size":$body_bytes_sent,'原创 2018-05-23 20:11:57 · 1412 阅读 · 0 评论 -
ES删除索引
# ES删除索引API例:删除所有为logstash的索引[官方说明](https://www.elastic.co/guide/en/elasticsearch/reference/current/indices-delete-index.html)```shellcurl -XDELETE 'http://host.IP.address:9200/logstash-*' ```# ES查...原创 2018-05-23 20:09:50 · 33500 阅读 · 0 评论 -
ES添加新的模板
curl -XPUT elastic:changeme@192.168.232.141:9200/_template/nginx -d '{ "template" : "nginx*", "order": 0, "index_patterns": [ "nginx*" ], "settings" : { "refresh_i...原创 2019-08-14 15:15:29 · 6278 阅读 · 0 评论