![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
日志分析
ciyuacca
这个作者很懒,什么都没留下…
展开
-
python 日志分析 -redis
#!/bin/python #encoding:utf8 import time,re,os file = open('/data/apps/logs/p4-controller/controller.log.%s' % (time.strftime("%Y-%m-%d", time.localtime()))) def Analysis(): sum = 0 times...原创 2019-01-15 14:07:43 · 242 阅读 · 0 评论 -
elk 监控报警
使用logstash output 模块 mail{}.判断message关键字.output { if "ERROR" in [message] { email { to => "xxxx@xxxx" from => "xxxx@xxxx" address => "smtp.xxxx" ...原创 2018-05-21 11:33:25 · 2847 阅读 · 0 评论 -
filebeat 日志合并配置,输出到kafka集群
filebeat.prospectors:- type: log 日志输出类型 enabled: true paths: ...原创 2018-05-14 09:00:20 · 15170 阅读 · 0 评论 -
elk +kafka+zk+filebeat搭建日志收集系统6版本
ELK+Kafka搭建#####部署图------------#####服务节点对应图elk0 192.168.182.50 filebeats 日志收集客户端elk1 192.168.182.51 kafka+zkelk2 192.168.182.52 kafka+zk+es(data_node)elk3 192.168.182.53 kafka+zk+es(data_node)elk4...原创 2018-05-03 15:58:06 · 29374 阅读 · 0 评论 -
es 安装前系统配置
一..充分利用内存资源, 单机不超过32G,es 一般设置为系统内存的50%.或者2/3.关闭swap1.sudo swapoff -a/etc/fstab 注释掉 swap2.减少内核交互的倾向/etc/sysctl.conf vm.swappiness = 13. 设置config/elasticsearch.yml bootstrap.memory_lock: true验证:GET _no...原创 2018-04-25 14:59:00 · 25719 阅读 · 0 评论 -
elastic 6.x 利用restApi 与集群进行交互 .3.4
导入数据到es如下json格式数据{ "account_number": 0, "balance": 16623, "firstname": "Bradshaw", "lastname": "Mckenzie", "age": 29, "gender": "F", "原创 2018-04-25 11:11:03 · 25148 阅读 · 0 评论 -
elastic 6.x 利用restApi 与集群进行交互 .3.3
1.批处理操作快速查看多个文档POST /customer/_doc/_bulk?pretty {"index":{"_id":"1"}} {"name": "John Doe" } {"index":{"_id":"2"}} {"name": "Jane Doe" }更新,删除操作.POST /custome原创 2018-04-25 10:55:24 · 25216 阅读 · 0 评论 -
elastic 6.x 利用restApi 与集群进行交互 .3.2
1.修改数据PUT /customer/_doc/1?pretty { "name": "John Doe" }PUT /customer/_doc/1?pretty{ "name": "Jane Doe" }PUT /customer/_doc/2?pretty{ "name": "Jane Doe" }POST /customer/_doc?pretty{ "原创 2018-04-25 10:48:11 · 25176 阅读 · 0 评论 -
elastic 6.x 利用restApi 与集群进行交互 .3
操作功能:检查群集、节点和索引的健康、状态和统计信息管理群集、节点和索引数据和元数据执行CRUD(创建、读取、更新和删除)并对索引进行搜索操作执行高级搜索操作,如分页、排序、过滤、脚本编写、聚合以及其他许多操作。1.查看集群状态GET /_cat/health?vepoch timestamp cluster status node.total node.data shard...原创 2018-04-25 10:39:55 · 25280 阅读 · 0 评论 -
elastic 6.x 安装.2
1.es安装至少需要java 8,官方建议jdk版本1.80y131.java -version2.es安装包下载 curl -L -O https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.2.4.tar.gztar -xvf elasticsearch-6.2.4.tar.gzcd elasticsearch...原创 2018-04-25 10:27:11 · 25153 阅读 · 0 评论 -
elastic官网文档翻译来.1
elastic以后简称es.es基本概念:1.nrt:一种近实时搜索平台,延迟微小(通常1s)2.cluster:数据集群分布存储,易扩展.3.node:节点是单个服务器,存储数据,支持集群索引和搜索功能.4.index:索引,是具有相似特性的文档集合5.type:一种类型是索引的逻辑类/分区,允许您在同一索引中存储不同类型的文档6.document 文档是可被索引的信息的基本单位7.shards...原创 2018-04-25 10:16:53 · 25255 阅读 · 0 评论 -
日志实时匹配替换
1.替换 #!/bin/python #encoding:utf8 import time,re,os,sys filename = sys.argv[1] newfilename = filename+'new' file = open(filename) with open(newfilename,'w') as f: while True: where ...原创 2019-02-01 14:42:20 · 270 阅读 · 0 评论