Elasticsearch
章锡平
道生一,一生二,二生万物。
展开
-
ES 学习记录
说在前面的话:最近一年做了很多大数据相关的业务,发现ES的应用场景非常多,即可作为查询服务,配合一些可视化组件,例如grafana也可作为监控数据存储服务,查询性能能到毫秒级的,但一直停留在使用的层面,所以有必要系统的学习底层并记录一下。 ...原创 2020-05-11 23:32:27 · 111 阅读 · 0 评论 -
ELK 采集系统日志,nginx日志
背景 为了满足公司的安全合规要求,我们需要采集系统的服务的系统日志,nignx日志,能够提供给政府安全部门查询。这里选择(ELK)Elasticsearch、Logstash、Kibana 作为落地实现工具。 日志样例 接口调用日志包括两部分: ys-web服务 日志位置: /usr/local/hikvision/tomcat6/logs/shipin7-api.log 日志格式: 2018-08-16 12:29:13,438 INFO API - execution(UserController.l原创 2020-06-02 13:58:26 · 1360 阅读 · 0 评论 -
sparkStreaming写入elasticsearch报错Could not write all entries for bulk operation
背景 今天遇到一个问题,在运行sparkStreaming任务写ES,出现如下错误: 20/04/27 09:45:12 ERROR spark.TaskContextImpl: Error in TaskCompletionListener org.elasticsearch.hadoop.EsHadoopException: Could not write all entries for bu...原创 2020-05-06 10:28:38 · 1701 阅读 · 0 评论 -
Elasticsearch的索引模板
链接: Elasticsearch的索引模板.转载 2020-04-15 14:06:29 · 146 阅读 · 0 评论 -
Elasticsearch-spark 源码解析 ---savetoEs
...转载 2020-03-18 13:42:19 · 305 阅读 · 0 评论