elk
文章平均质量分 76
浅汐王
这个作者很懒,什么都没留下…
展开
-
使用ELK收集、存储、监控Nginx的日志信息
1.场景使用ELK生态栈对Nginx的日志信息进行解析、存储,并根据解析后的数据进行监控,如果日志信息有异常,会通过自定义配置的告警服务进行告警。2.架构nginx ==> filebeat ==> kafka==> logstash ==> ES ==> Kibanafilebeat:只是收集客户端(能干的很少)kafka:缓冲,削峰(测试阶段没有选择使用)logstash:解析日志字段(grok表达式)版本选择:7.4.2 3. nginx..原创 2020-05-29 15:16:41 · 70806 阅读 · 1 评论 -
java.lang.UnsupportedOperationException: seccomp unavailable: CONFIG_SECCOMP not compiled into kerne
错误描述: ElasticSearch集群启动错误,错误的原因是:因为Centos6不支持SecComp,而ES默认bootstrap.system_call_filter为true进行检测,所以导致检测失败,失败后直接导致ES不能启动解决:修改elasticsearch.yml问题解决:在所有节点的elasticsearch.yml配置文件中加入: bootstrap.mem...原创 2020-04-10 18:43:24 · 70506 阅读 · 0 评论 -
限制内存使用"type":"circuit_breaking_exception","reason":"[fielddata] Data too large
关于ES内存使用的一些问题断路器indices.breaker.fielddata.limitfielddata 断路器默认设置堆的 60% 作为 fielddata 大小的上限。indices.breaker.request.limitrequest 断路器估算需要完成其他请求部分的结构大小,例如创建一个聚合桶,默认限制是堆内存的 40%。indices.breaker.tot...原创 2020-04-10 13:11:13 · 70993 阅读 · 0 评论 -
Elasticsearch7.0.0解决Java日期型数据的导入
第一种:使用时间戳记录时间。存入数据时,使用String转换为date然后转换为long(这里使用String是方便格式转换):public final DateFormat dateFormat = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");String str="2016-01-25 00:00:00";Date date=dateF...原创 2020-04-09 18:43:35 · 70980 阅读 · 0 评论 -
ElasticSearch7.0.0安装sql
切换到elasticsearch的home目录执行:bin/elasticsearch-plugin install https://github.com/NLPchina/elasticsearch-sql/releases/download/7.0.0.0/elasticsearch-sql-7.0.0.0.zip修改config/elasticsearch.yml:添加一行x...原创 2020-04-08 11:23:58 · 70985 阅读 · 1 评论 -
Logstash7.0.0同步MySQL数据到ES,并存储geo位置信息,以及支持写入分词功能
场景:1. 数据来源是python爬虫获取美团、安居客的数据,使用Java进行ETL清洗后,批量插入MySQL中,由于MySQL在千万级甚至亿级数据量的激增下,查询缓慢,以及部分功能不能支持业务的需求,比如分词。。。等2. 调研组件Hive,发现Hive对于GIS的支持并不友好,首先Hive不支持创建表时指定字段为geometry类型,这就很尴尬了,对于使用GIS函数的功能,官方并不支持,...原创 2020-04-08 09:20:14 · 70378 阅读 · 0 评论 -
ElasticSearch7.0.0安装IK分词器
1.原因:为什么要在elasticsearch中要使用ik这样的中文分词呢,那是因为es提供的分词是英文分词,对于中文的分词就做的非常不好了,因此我们需要一个中文分词器来用于搜索和使用。就尝试安装下IK分词。2.去github下载对应的分词插件(对应ES的版本下载)https://github.com/medcl/elasticsearch-analysis-ik/releases...原创 2020-03-30 16:42:53 · 71537 阅读 · 0 评论 -
使用Java API操作ES
首先创建一个Maven管理的Java项目:在pom.xml中添加依赖: <es.version>6.1.1</es.version> <dependency> <groupId>org.elasticsearch.client</groupId> <arti...原创 2019-05-11 17:58:57 · 2759 阅读 · 0 评论 -
ES:mget批量查询
1.批量查询的好处1)一条一条查询,需要发送多次,网络开销大,批量查询可以解决很多网络的开销2)使用mget2.使用mget进行查询操作1)如果批量查询的对象不是在一个index中,那么可以用下面的语法GET /_mget{ "docs":[ { "_index":"test_index", "_type":"test_type", "_id":10原创 2018-03-31 17:12:00 · 4004 阅读 · 0 评论 -
elk的安装使用(二)
错误1:[2017-11-25T13:58:31,795][ERROR][o.e.b.Bootstrap ] [node131] node validation exception[4] bootstrap checks failed[1]: max file descriptors [4096] for elasticsearch process is too lo原创 2017-12-06 13:53:34 · 516 阅读 · 0 评论 -
elk的安装使用(一)
2.nginx2.1.安装PCRE库[root@hadoop001 ~]# cd /usr/local/[root@hadoop001 local]# tar -zxvf pcre-8.36.tar.gz[root@hadoop001 local]# cd pcre-8.36[root@hadoop001 pcre-8.36]# ./configure[root@h原创 2017-12-06 13:51:52 · 338 阅读 · 0 评论 -
ELK 日志分析系统
一、简介1、核心组成ELK由Elasticsearch、Logstash和Kibana三部分组件组成;Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。Logstash是一个完全开源的工具,它可以对你的日志进行收集、分析,并将其存储供以后使用k原创 2017-12-06 11:51:56 · 297 阅读 · 0 评论