elk
文章平均质量分 50
elk
一年春又来
这个作者很懒,什么都没留下…
展开
-
elk-01d.logstash将mysql经纬度数据转为geo_point
目标:通过logstash同步,将mysql 中的经纬度字符串转为 es 中的geo_point类型这种原创 2022-12-14 16:16:14 · 514 阅读 · 0 评论 -
logstash基础语法与使用
## 解压安装tar -zxvf logstash-6.6.0.tar.gz -C /usr/local/## conf下配置文件说明:# logstash配置文件:/config/logstash.yml# JVM参数文件:/config/jvm.options# 日志格式配置文件:log4j2.properties# 制作Linux服务参数:/config/startup.options## 配置文件说明:vim /usr/local/logstash-6.6.0/config/lo原创 2021-04-20 22:28:36 · 312 阅读 · 0 评论 -
Logstash数据同步 - 自定义模板配置中文分词
前言目前的数据同步,mappings映射会自动创建,但是分词不会,还是会使用默认的,而我们需要中文分词,这个时候就需要自定义模板功能来设置分词了。查看Logstash默认模板GET /_template/logstash修改模板如下{ "order": 0, "version": 1, "index_patterns": ["*"], "settings": { "index": { "refresh_interval":原创 2021-01-14 22:53:05 · 589 阅读 · 0 评论 -
logstash同步数据库配置
logstash同步数据库配置上传并解压logstash,位置放在如下:创建文件名:logstash-db-sync.conf,后缀为conf,文件名随意,位置也随意(可以参考课程)把数据库驱动拷贝:配置内容如下:input { jdbc { # 设置 MySql/MariaDB 数据库url以及数据库名称 jdbc_connection_string => "jdbc:mysql://192.168.1.6:3306/foodi原创 2021-01-14 22:51:47 · 939 阅读 · 0 评论 -
logback + Kafka + logstash 集成
logback + Kafka + logstash 集成我们是通过 logback 打印日志,然后将日志通过 kafka 消息队列发送到 Logstash,经过处理以后存储到 Elasticsearch 中,然后通过 Kibana 图形化界面进行分析和处理。在 spring boot 应用程序中,默认使用 logback 来记录日志,并用 INFO 级别输出日志到控制台。日志级别和顺序:T...原创 2019-06-25 17:05:53 · 2384 阅读 · 0 评论 -
日志写入数据库:Logback-DBAppender
Logback-DBAppenderDBAppender以独立于Java编程语言的格式将日志事件插入到三个数据库表中。这三个表是 logging_event、logging_event_property 和 logging_event_exception。在使用DBAppender之前,它们必须存在。Logback附带了创建表的SQL脚本。它们可以在 logback-classic/src...原创 2019-02-12 15:01:30 · 3215 阅读 · 0 评论 -
日志写入数据库:Log4j2-JDBCAppender
Log4j2-JDBCAppenderJDBCAppender使用标准JDBC将日志事件写入关系数据库表。可以将其配置为使用JNDI数据源或自定义工厂方法获取JDBC连接。无论采用哪种方法,都必须有连接池作为支持。否则,日志记录性能将受到很大影响。maven 依赖通过使用 platform-bom 来管理依赖的版本问题。使用 druid 作为 JDBCAppender 的连接池。<...原创 2019-02-12 15:00:42 · 2722 阅读 · 1 评论 -
Logstash数据同步-介绍
1 LogstashLogstash是elastic技术栈中的一个技术。它是一个数据采集引擎,可以从数据库采集数据到es中。我们可以通过设置自增id主键或者时间来控制数据的自动同步,这个id或者时间就是用于给logstash进行识别的id:假设现在有1000条数据,Logstatsh识别后会进行一次同步,同步完会记录这个id为1000,以后数据库新增数据,那么id会一直累加,Logstatsh会有定时任务,发现有id大于1000了,则增量加入到es中时间:同理,一开始同步1000条数据,每条数据都.原创 2021-01-14 22:44:11 · 622 阅读 · 0 评论 -
ES集群脑裂现象
什么是脑裂如果发生网络中断或者服务器宕机,那么集群会有可能被划分为两个部分,各自有自己的master来管理,那么这就是脑裂。脑裂解决方案master主节点要经过多个master节点共同选举后才能成为新的主节点。就跟班级里选班长一样,并不是你1个人能决定的,需要班里半数以上的人决定。解决实现原理:半数以上的节点同意选举,节点方可成为新的master。discovery.zen.minimum_master_nodes=(N/2)+1N为集群的中master节点的数量,也就是那些 node.ma原创 2021-01-13 20:08:22 · 742 阅读 · 0 评论 -
ES 集群配置
前置操作需要确认其它es节点中的data目录,一定要清空,不能有数据。配置集群修改elasticsearch.yml这个配置文件如下:# 配置集群名称,保证每个节点的名称相同,如此就能都处于一个集群之内了cluster.name: es-cluster# 每一个节点的名称,必须不一样node.name: es-node1# http端口(使用默认即可)http.port: 9200# 主节点,作用主要是用于来管理整个集群,负责创建或删除索引,管理其他非master节点(相当于企业老原创 2021-01-13 19:38:34 · 457 阅读 · 0 评论 -
ES 批量操作 bulk
文章目录基本语法批量操作的类型实操createupdatedelete复合操作参考资源基本语法bulk操作和以往的普通请求格式有区别。不要格式化json,不然就不在同一行了,这个需要注意。{ action: { metadata }}\n{ request body }\n{ action: { metadata }}\n{ request body }\n...{ action: { metadata }}代表批量操作的类型,可以是新增、删除或修改\n是每原创 2021-01-12 22:52:31 · 749 阅读 · 1 评论 -
ES 深度分页&滚动搜索
分页查询POST /shop/_doc/_search{ "query": { "match_all": {} }, "from": 0, "size": 10} 深度分页深度分页其实就是搜索的深浅度,比如第1页,第2页,第10页,第20页,是比较浅的;第10000页,第20000页就是很深了。使用如下操作:{原创 2021-01-12 21:19:58 · 2418 阅读 · 0 评论 -
ES 之 DSL 搜索
1 准备数据建立索引 shop(名字随意)POST /shop/_mapping{ "properties": { "id": { "type": "long" }, "age": { "type": "integer" }, "username": { "type": "keyword" }, "nickname": { "type": "text", "analyzer": "ik_max_word" }, "money": { "type": "float" }, "desc": { "ty原创 2021-01-12 21:03:06 · 495 阅读 · 0 评论 -
es内置分词器
es内置分词器standard:默认分词,单词会被拆分,大小会转换为小写。simple:按照非字母分词。大写转为小写。whitespace:按照空格分词。忽略大小写。stop:去除无意义单词,比如the/a/an/is…keyword:不做分词。把整个文本作为一个单独的关键词。{ "analyzer": "standard", "text": "My name is Peter Parker,I am a Super Hero. I don't like th原创 2021-01-11 20:44:14 · 535 阅读 · 0 评论 -
ES之文档乐观锁控制 if_seq_no与if_primary_term
观察操作插入新数据POST /my_doc/_doc{ "id": 1010, "name": "imooc-1010", "desc": "imoocimooc!", "create_date": "2019-12-24"}# 此时 _version 为 1修改数据POST /my_doc/_doc/{_id}/_update{ "doc": { "name": "慕课" }}# 此时 _version 为原创 2021-01-11 20:06:04 · 609 阅读 · 0 评论 -
Elasticsearch 的 REST API 的使用介绍
集群健康集群健康 | Elasticsearch: 权威指南 | ElasticGET /_cluster/health索引相关创建索引PUT /index_test{ "settings": { "index": { "number_of_shards": "2", "number_of_replicas": "0" } }}number_of_shards : 分片数number_of原创 2021-01-09 17:12:23 · 572 阅读 · 1 评论 -
倒排索引的简单介绍
前言在学习 ES 的过程中,简单的介绍下倒排索引是怎么回事,对倒排索引有一个宏观的感受。正排索引在讲述倒排索引之前先介绍下正排索引。正排索引就是如下表形式:文档id文档内容1什么是正排索引2什么是倒排索引3正排索引和倒排索引倒排索引倒排索引就是对上表进行转换,最简单的倒排索引如下表所示:单词文档ids什么1,2是1,2正排1,3倒排2,3索引1,2,3和3词频(TF)和位置(POS)原创 2021-01-09 16:36:32 · 314 阅读 · 0 评论 -
Elasticsearch 安全功能入门
1. 前言从 Elastic Stack 6.8 和 7.1 开始,Elasticsearch在默认分发包中免费提供多项安全功能,例如 TLS 加密通信、基于角色的访问控制 (RBAC),等等。在本文中,我将会演示如何启用这些功能来确保您的 Elasticsearch 集群的安全。实际演示中,我将会在两台centos7上各自创建一个一节点 Elasticsearch 集群并进行安全设置。要实现...原创 2019-11-14 08:56:13 · 366 阅读 · 0 评论 -
ElasticSearch 安装中文分词插件
1. 安装 Elasticsearch略2. 安装IK分词器插件进入 Elasticsearch 安装目录使用 elasticsearch-plugin 安装插件./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.1.1/ela...原创 2019-11-05 17:05:12 · 307 阅读 · 0 评论