log日志
文章平均质量分 77
阿拉斯加大闸蟹
JDcloud;ByteDance;XueQiu;YiChe;CATARC
展开
-
日志平台-ES性能优化
一些旧的工具 Ø elastic-hq:性能分析 Ø cerebro:索引管理、settings Ø whatson:segment分析 Ø es cat api ES慢日志 https://www.elastic.co/guide/en/elasticsearch/reference/current/index-modules-slowlog.html 合理的控制index https://www.elastic.co/guide/en/elasticsearch/reference/cu原创 2021-07-12 15:01:42 · 8310 阅读 · 0 评论 -
日志平台-ES架构设计
remote cluster https://www.elastic.co/guide/en/elasticsearch/reference/current/modules-remote-clusters.html 冷热架构(等机器资源申请到位的时候) https://www.elastic.co/cn/blog/implementing-hot-warm-cold-in-elasticsearch-with-index-lifecycle-management ES Client Node 什么原创 2021-07-12 14:32:29 · 7906 阅读 · 0 评论 -
日志平台-Index的管理
当前使用的是shell的定时任务 Mapping配置 索引生命周期 index配置 ILM的管理 index管理 方法 1: 使用在索引名称上带上时间的方法管理索引(这个是目前采用的方式) 方法 2: 使用 Rollover 管理索引 方法 3: 使用 ILM(Index Lifecycle Management ) 管理索引(这个使用跟graylog一样,就是被抛弃的原因之一,索引的名字目前在系统中是具有意义的) shard的管理 按照保留期限进行索引 每个索引和分原创 2021-07-12 14:26:14 · 7824 阅读 · 0 评论 -
6-日志平台-日志流监控
日志采集: 流程 要做的事情 日志规范 固定字段定义 日志格式 日志采集 落盘规则 滚动策略 采集方法 日志传输 消息队列 消费方式 Topic规范 保存时间 日志切分 采样 过滤 自定格式 日志检索 索引分割 分片设置 检索优化 权限设置 保存时间 日志流监控 采集异常 传输异常 检索异常 不合规范 监控报警 ...原创 2021-05-31 13:43:39 · 4019 阅读 · 0 评论 -
5-日志平台-日志检索
5.日志检索 转至元数据结尾 由贺矿省创建, 最后修改于2021-05-08 转至元数据起始 日志采集: 流程 要做的事情 日志规范 固定字段定义 日志格式 日志采集 落盘规则 滚动策略 采集方法 日志传输 消息队列 消费方式 Topic规范 保存时间 日志切分 采样 过滤 自定格式 日志检索 索引分割 分片设置 检索优化 权限设置 保存时间 日志流监控 采集异常 传输异常 检索异常 不合...原创 2021-05-31 13:42:08 · 4015 阅读 · 0 评论 -
4-日志平台-日志切分
日志采集: 流程 要做的事情 日志规范 固定字段定义 日志格式 日志采集 落盘规则 滚动策略 采集方法 日志传输 消息队列 消费方式 Topic规范 保存时间 日志切分 采样 过滤 自定格式 日志检索 索引分割 分片设置 检索优化 权限设置 保存时间 日志流监控 采集异常 传输异常 检索异常 不合规范 监控报警 不同的日志落地规则: Java应用日志logStash落ES 之前...原创 2021-05-17 20:53:12 · 4285 阅读 · 0 评论 -
3-日志平台-日志传输
日志采集: 流程 要做的事情 日志规范 固定字段定义 日志格式 日志采集 落盘规则 滚动策略 采集方法 日志传输 消息队列 消费方式 Topic规范 保存时间 日志切分 采样 过滤 自定格式 日志检索 索引分割 分片设置 检索优化 权限设置 保存时间 日志流监控 采集异常 传输异常 检索异常 不合规范 监控报警 各种规范对应的传输要求: Java应用对应的kafka 之前的ka...原创 2021-05-17 20:49:58 · 4085 阅读 · 0 评论 -
2-日志平台-日志采集
日志采集: 流程 要做的事情 日志规范 固定字段定义 日志格式 日志采集 落盘规则 滚动策略 采集方法 日志传输 消息队列 消费方式 Topic规范 保存时间 日志切分 采样 过滤 自定格式 日志检索 索引分割 分片设置 检索优化 权限设置 保存时间 日志流监控 采集异常 传输异常 检索异常 不合规范 监控报警 日志目标: Java应用logback+filebeat 之前的f...原创 2021-05-17 20:48:57 · 4249 阅读 · 0 评论 -
1-日志平台-日志规范
日志规范: 流程 要做的事情 日志规范 固定字段定义 日志格式 日志采集 落盘规则 滚动策略 采集方法 日志传输 消息队列 消费方式 Topic规范 保存时间 日志切分 采样 过滤 自定格式 日志检索 索引分割 分片设置 检索优化 权限设置 保存时间 日志流监控 采集异常 传输异常 检索异常 不合规范 监控报警 日志类型: ES的server log Java应用logback...原创 2021-05-17 20:46:36 · 4116 阅读 · 0 评论 -
0-日志平台-graylog放弃&ES术语简介
使用的目的: 从filebeat采集到kafka的数据,在ELK方案中使用的是logstash落到ES 那么在graylog中要实现logstash如下两个重要功能: 1.消息体的解析(包含过滤、剔除、提取,转换) 2.ES的索引映射,ES作为底层的存储,涉及到日至平台性能,因此这个索引映射和存储要把握住 使用的流程: 1.input配置,kafka接入 extractor提取器: 解析json 解析message(不好使) 2.indices、stream配置,ES索引映射写入 .原创 2021-05-17 20:45:33 · 4479 阅读 · 0 评论 -
0-日志平台调研
形象的解释下监控、链路追踪、日志这三个平台的意义 1.日志平台:日志是最能记录案发现场的东西,就好比监控视频、现场人证物证,对各位“警察”分析案发现场至关重要 2.监控平台:而metric就好比是“电子交通警察”,记录数据指标信息,能够实时的“抓拍违章信息”并发送告警 3.链路追踪:tracing就像是你在排查问题时候的“警犬”,能够顺着气味帮你串联起来多个“作案地点”,找出背后的“真凶”将其绳之於法 基于ELK实现 https://github.com/ameizi/ELK https:.原创 2021-05-17 20:43:53 · 4194 阅读 · 0 评论 -
ElasticSearch 常用的查询过滤语句
term 过滤 term主要用于精确匹配哪些值,比如数字,日期,布尔值或 not_analyzed 的字符串(未经分析的文本数据类型): #完整的例子, hostname 字段完全匹配成 saaap.wangpos.com 的数据: { "query": { "term": { "hostname": "saaap.wangpos.com" } ...原创 2018-12-11 10:21:12 · 1402 阅读 · 1 评论 -
ES在分布式系统中深度分页
搭建: master的es的comfig目录下修改 elasticsearch.yml # 集群名称cluster.name: xiaoming# master名称node.name: masternode.master: truenetwork.host: 127.0.0.1 salver1的es的comfig目录下修改 elasticsearch.yml cluster.name: xi...原创 2018-08-14 17:56:42 · 1026 阅读 · 0 评论 -
ES处理冲突
https://github.com/singgel/BigData-SkillTree 处理冲突编辑 当我们使用indexAPI 更新文档,可以一次性读取原始文档,做我们的修改,然后重新索引整个文档。 最近的索引请求将获胜:无论最后哪一个文档被索引,都将被唯一存储在 Elasticsearch 中。如果其他人同时更改这个文档,他们的更改将丢失。 很多时候这是没有问题的。也许我们的...原创 2018-07-25 17:20:43 · 1374 阅读 · 0 评论