Elasticsearch6.5.4+Logstash6.5.4的基本应用

最新推荐文章于 2024-05-13 19:35:06 发布
最新推荐文章于 2024-05-13 19:35:06 发布
阅读量668 收藏 1
点赞数 1
分类专栏： Elasticsearch 文章标签： Elasticsearch Logstash
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43315211/article/details/85780609
版权

Elasticsearch跨域访问

修改elasticsearch.yml中的参数：

http.cors.enabled: true                                                 //是否支持跨域访问，默认false
http.cors.allow-origin: “*”                                             //访问的网段，可以对网段进行限制
http.cors.allow-methods: OPTIONS,HEAD,GET,POST,PUT,DELETE               //跨域请求的方式
http.cors.allow-headers: X-Requested-With,Content-Type,Content-Length   //跨越请求头的信息

创建mapping

创建动态mapping，默认使用ik分词器。

PUT _template/sc_template
{
  "index_patterns":"*",
  "order":0,
  "settings":{
    "number_of_shards": 3,
    "number_of_replicas": 0    
  },
  "mappings":{
    "doc":{
      "dynamic_templates":[{
         "text_use_ik":{
           "match_mapping_type":"text",
           "mapping":{
             "type":"text",
             "analyzer":"ik_max_word",
             "search_analyzer":"ik_smart"
           }
         } 
        }]
    }
  }
}

在kibana中创建omega的mapping，应用ik分词器对中文字段进行分词。

PUT /omega/
{
  "settings": {
    "number_of_shards": 3,
    "number_of_replicas": 0
  },
  "mappings": {
    "logs":{
    "properties": {
      "receiver":{
        "type":"text"
      },
      "date":{
        "type":"date"
      },
      "value":{
        "type":"long"
      },
      "xingming":{
        "type":"text",
        "analyzer": "ik_max_word",
        "fields": {
          "keyword":{
            "type":"keyword"
          }
        }
      },
      "bumen":{
        "type":"text",
        "analyzer": "ik_smart",
        "fields": {
          "keyword":{
            "type":"keyword"
          }
        }
      }
    }
  }
  }
}

查看maping

GET /omega/_mapping

数据同步

应用 Logstash 将数据库中的数据同步至 Elasticsearch 中。
同步一个数据库中的表，创建 postgres.conf 文件：

input {
    jdbc {	
      jdbc_connection_string => "jdbc:postgresql://192.168.108.126:5432/omega"
      jdbc_driver_library => "/usr/local/logstash-6.4.1/test/postgresql-9.4.1212.jar"
      jdbc_driver_class => "org.postgresql.Driver"
      jdbc_user => "postgres"
      jdbc_password => "passwd"
      jdbc_paging_enabled => "true"
      jdbc_page_size => "50000"
      statement => "SELECT a.receiver,a.date,a.value,b.xingming,b.bumen FROM renyuan b JOIN "result" a ON a.receiver=b.receiver ORDER BY b.bumen,a.date" 
      type => "jdbc"
}
}
filter {
   json {
     source => "message"
     remove_field => "[message]"
}
  mutate {
   remove_field => ["@version","@timestamp"]
  }
}
output {
  elasticsearch {
    hosts => "192.168.108.126:9200"
    index => "omega"
    document_type => "logs"
  }
  stdout {
    codec => json_lines
}
}

运行logstash程序：bin/logstash -f test/postgres.conf
同时同步两个表格到同一个index里面：

input {
    jdbc {	
      jdbc_connection_string => "jdbc:postgresql://192.168.108.126:5432/omega"
      jdbc_driver_library => "/usr/local/logstash-6.4.1/test/postgresql-9.4.1212.jar"
      jdbc_driver_class => "org.postgresql.Driver"
      jdbc_user => "postgres"
      jdbc_password => "passwd"
      jdbc_paging_enabled => "true"
      jdbc_page_size => "50000"
      statement => "select * from omega.renyuan limit 5" 
      add_field => {"table_name" => "renyuan"}
}
    jdbc {      
      jdbc_connection_string => "jdbc:postgresql://192.168.108.126:5432/omega"
      jdbc_driver_library => "/usr/local/logstash-6.4.1/test/postgresql-9.4.1212.jar"
      jdbc_driver_class => "org.postgresql.Driver"
      jdbc_user => "postgres"
      jdbc_password => "passwd"
      jdbc_paging_enabled => "true"
      jdbc_page_size => "50000"
      statement => "select * from omega.result limit 5"
      add_field => {"table_name" => "result"}
}
}
filter {
  mutate {
    remove_field => ["@version","@timestamp"]
  }
}
output {
  elasticsearch {
    hosts => "192.168.108.126:9200"
    index => "omega2"
    document_type => "logs"
  }
  stdout {     // 这是在交互式界面进行展示
    codec => json_lines
}
}

查询

multi_match 多字段查询：

GET /omega2/_search?scroll=1m
{
  "size": 5,
  "query": {
    "multi_match": {
      "query": "秦**",                                         //查询参数
      "fields": ["bumen","xingming"]                           //被查询字段
    }
  }
}

高亮显示

highlight 标签可以对检索的字段进行高亮显示：

GET zhaobiao/_search
{
  "from": 0, 
  "size": 20, 
  "query": {
    "multi_match": {
      "query": "商务科研服务",
      "fields": ["bid_area","bid_title","bid_industry"]
    }
  },
  "highlight": {
    "fields": {
      "bid_area":{},
      "bid_title":{},
      "bid_industry":{}
    }
  }
}

高亮显示的标签默认是，可以对此标签进行修改：

GET zhaobiao/_search
{
  "from": 0, 
  "size": 20, 
  "query": {
    "multi_match": {
      "query": "商务科研服务",
      "fields": ["bid_area","bid_title","bid_industry"]
    }
  },
  "highlight": {
    "fields": {
      "bid_title":{
        "pre_tags": ["<mark>"],
        "post_tags": ["</mark>"]
      }
    }
  }
}

Elasticsearch 支持三种高亮器：unified，plain和fvh。

  • 1）Unified高亮器
    unified高亮器使用Lucene统一高亮器。 这个高亮器将文本分解为句子，并使用BM25算法对单个句子进行评分，就好像它们是文集中的文档一样。 它还支持准确的短语和多项（模糊，前缀，正则表达式）突出显示。 这是默认的高亮器。
  • 2）Plain高亮器
    plain高亮器使用标准的Lucene高亮器。 它试图在短语查询中理解单词重要性和任何单词定位标准来反映查询匹配逻辑。
  • 3）fvh高亮器
    fvh高亮器使用Lucene Fast Vector高亮器。此高亮器可用于在映射中将term_vector设置为with_positions_offsets的字段

可对高亮器进行选择：

GET zhaobiao/_search
{
  "from": 0, 
  "size": 20, 
  "query": {
    "multi_match": {
      "query": "商务科研服务",
      "fields": ["bid_area","bid_title","bid_industry"]
    }
  },
  "highlight": {
    "fields": {
      "bid_title":{
		"type":"plain"
      }
    }
  }
}

性能调优

scroll 游标深度查询

对于数据量较大的深度查询，建议使用scroll参数进行分页查询，提升查询速率。
查询语句：

GET /omega2/_search?scroll=1m                                 
{
  "size": 5,
  "query": {
    "multi_match": {
      "query": "秦**",                                         //查询参数
      "fields": ["bumen","xingming"]                           //被查询字段
    }
  }
}

返回结果

{
  "_scroll_id": "DnF1ZXJ5VGhlbkZldGNoAwAAAAAAAXfVFnlpSFpmX1cyU1R5UkhEY1RpLURCdGcAAAAAAAF31BZ5aUhaZl9XMlNUeVJIRGNUaS1EQnRnAAAAAAABd9YWeWlIWmZfVzJTVHlSSERjVGktREJ0Zw==",
  "took": 1,
  "timed_out": false,
  "_shards": {
    "total": 3,
    "successful": 3,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": 1,
    "max_score": 2.9424875,
    "hits": [
      {
        "_index": "omega2",
        "_type": "logs",
        "_id": "Wx2lHGgBZ5G2BooG78en",
        "_score": 2.9424875,
        "_source": {
			......
        }
      }
    ]
  }
}

第二次查询时，直接带入scroll_id参数进行查询：

GET /_search/scroll
{
  "scroll":"1m",
  "scroll_id":"DnF1ZXJ5VGhlbkZldGNoAwAAAAAAAXguFnlpSFpmX1cyU1R5UkhEY1RpLURCdGcAAAAAAAF4LxZ5aUhaZl9XMlNUeVJIRGNUaS1EQnRnAAAAAAABeDAWeWlIWmZfVzJTVHlSSERjVGktREJ0Zw=="
}

**优缺点：**解决深度分页查询时，使用from，size带来的冗余问题和查询效率慢的问题，但需要使用两个接口进行转换，且只能一页一页的查询，无法从第1页调到第5页进行查询。

copy_to

对于多个文本字段进行检索时，使用copy_to对检索的所有字段进行拼接，组合成新的字段，最后在检索时对新的字段进行检索，从而提升检索速率。
创建索引 mapping

PUT /zhaobiao2
{
  "settings": {
    "number_of_shards": 3,
    "number_of_replicas": 0
  },
  "mappings": {
    "doc":{
    "properties": {
      "bid_title":{
        "type": "text",
        "analyzer": "ik_max_word",
        "copy_to":"all_text"
      },
      "release_time":{
        "type": "text",
        "analyzer": "ik_smart",
        "copy_to":"all_text"
      },
      "bid_industry":{
        "type": "text",
        "analyzer": "ik_smart",
        "copy_to":"all_text"
      },
      "bid_area":{
        "type": "text",
        "analyzer": "ik_smart",
        "copy_to":"all_text"
      },
      "bid_url":{
        "type": "text"
      },
      "bid_text":{
        "type": "text"
      },
      "all_text":{
        "type":"text",
        "analyzer":"ik_max_word"
      }
    }
  }
  }
}

检索数据

GET zhaobiao2/_search
{
  "query": {
    "multi_match": {
      "query": "商务科研服务",
      "fields": ["all_text"]
    }
  }
}

检索结果

{
  "took": 5,
  "timed_out": false,
  "_shards": {
    "total": 3,
    "successful": 3,
    "skipped": 0,
    "failed": 0
  },
  ......
}

此次检索大约70W+的数据，未使用copy_to字段进行检索时所消耗的时长是使用copy_to字段所耗时长的5倍以上，大大提升了检索速率。
注意：copy_to 只能对 text 文本字段进行使用，对 date 和 long（无法分词）字段无法使用。

weixin_43315211
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
logstash数据导入操作
qq_33409840的博客
11-22 1223
[appmarket@ecs-appmarket-test05 bin]$ cat ru.conf input{ elasticsearch { hosts => [“10.89.36.57:9200,10.89.38.123:9200,10.89.36.33:9200”] index => “ry_market_1_ru” #type => “_doc” size => 1000 scroll => “5m” docinfo => false } } filter {
（二）logstash简介
weixin_43930865的博客
01-14 911
文章目录1：logstash简介1：安装启动logstash1：安装2：配置3：启动logstash4：logstash单元测试2：深入logstash1：事件1.1：事件属性2：数据持久化队列3：logstash插件2.1：输入插件 1：logstash简介 Logstash 基于插件开发和应用，包括输入、过滤器和输出三大类插件。 输 入插件指定了数据来源 过滤器插件则对数据做过滤清洗 而输出插件则指定了 数据将被传输到哪里 LogStash 是一个类似实时流水线的开源数据传输引擎，它像一个两头连接不 同
2024年大数据最全使用logstash迁移ES数据并解决限流等问题(1)，2024年最新字节跳动大数据开发三面凉凉
最新发布
2401_84181309的博客
05-13 1169
input {
3.ELK之Logstash安装与使用
mijichui2153的博客
10-01 2781
Logstash 是一个开源的数据收集引擎。它具有实时的数据传输能力，可以按照我们定制的规范来做数据的收集、解析和存储。也就是说Logstash有3个核心组成部分，分别是数据收集、数据解析和数据转存。这个三个部分组成了一个类似于管道的数据流，由输入端进行数据的采集，管道本身做数据的过滤和解析，输出端把过滤和解析后的数据输出到目标数据库中。大致翻一下官方手册可以看到其功能还是非常强大的。
ELK-LogStash6.5.4
陈袁的博客
04-24 1224
LogStash6.5.4安装 前言 与Elasticsearch、Kibana不同，Logstash默认并不作为系统服务安装，我们也不建议作为服务启动。主要原因为： 大多数情况下，Elasticsearch、Kibana在每台服务器上只有一个实例，可以作为服务启动；而一个Logstash实例一般只服务于一个数据流，因此一台服务器上经常运行多个实例； Elasticsearch、Kibana是服务...
ElasticSearch中Scroll介绍
杨春建的博客
07-14 2456
原文地址：https://www.elastic.co/guide/en/elasticsearch/reference/5.5/search-request-scroll.html Elasticsearch Reference [5.5] » Search APIs » Request Body Search » Scroll «  Search Type
elasticsearch-6.5.4,filebeat-6.5.4,kibana-6.5.4,logstash-6.5.4
07-28
标题和描述中提到的"elasticsearch-6.5.4", "filebeat-6.5.4", "kibana-6.5.4", "logstash-6.5.4"是 Elastic Stack（以前称为 ELK Stack）的四个关键组件的特定版本。Elastic Stack 是一个用于日志管理和分析的强大...
Elasticsearch 6.5.4全套(windows版)
12-04
Elasticsearch 6.5.4 是一个高度可扩展的开源全文搜索引擎，它基于 Lucene 构建，设计用于在分布式环境中提供快速、可靠且可伸缩的数据存储和搜索服务。这个版本专为 Windows 操作系统优化，允许用户在 Windows 平台...
logstash-6.5.4.tar.gz.zip
06-27
在实际应用中，Logstash常与Elasticsearch和Kibana（ELK Stack）一起使用，提供了一套强大的日志管理和分析解决方案。你可以通过自定义配置文件来适应各种数据源和需求，实现高效的数据处理和监控。在6.5.4版本中，...
elasticsearch6.5.4
01-08
**Elasticsearch 6.5.4：分布式全文搜索引擎** Elasticsearch，作为一个高度流行的开源搜索引擎，被广泛应用于各种数据搜索、分析和实时监控场景。版本6.5.4是这个强大工具的一个重要里程碑，提供了丰富的功能和...
Elasticsearch6.5.4全量包
01-10
本资源中包含Elasticsearc6.5.4 kibana-6.5.4 logstash-6.5.4 Jest-6.x, ik6.5.4 curl-7.63.0
Logstash 6.5.4版本
07-02
Logstash 6.5.4版本，你值得拥有，日志采集必备工具，ELK
logstash-6.5.4.zip
06-28
logstash-6.5.4工具安装包下载
各种版本logstash适合jdk6，jdk7以上的版本
04-07
可以满足jdk6，和jdk7以上版本的logstash。
Logstash-6.5.4.tar.gz
12-27
Logstash-6.5.4.tar.gz
centos6.5安装elasticsearch+logstash详细教程
12-28
centos6.5安装elasticsearch+logstash详细教程,阿里云环境
Elasticsearch的滚动（scroll）
杨春建的博客
04-24 3057
原文地址：http://www.jianshu.com/p/14aa8b09c789 Scroll search 请求返回一个单一的结果“页”，而 scroll API 可以被用来检索大量的结果（甚至所有的结果），就像在传统数据库中使用的游标 cursor。 滚动并不是为了实时的用户响应，而是为了处理大量的数据，例如，为了使用不同的配置来重新索引一个 index
如何使用logstash更新已有的elasticsearch记录
热门推荐
点火三周的专栏
09-15 1万+
如何使用logstash更新已有的elasticsearch记录 常使用elasticsearch的童鞋，一定会遇到这种情况：我们需要修改已存储在ES中的数据，无论是数据内容或者是数据结构，来满足我们不断变化的需求。当我们需要修改数据的时，如果自己撸码一条一条的改动数据，不免有点低级，特别在大量的数据都需要修改的时候，这根本就是无法完成的任务。此时，势必要求助于工具。不知道Logstash是
logstash读取Elasticsearch数据保存为json,logstash接收log数据写入kafka生产者
只有变秃,才能更强
06-05 2345
[提前声明] 文章由作者:张耀峰 结合自己生产中的使用经验整理,最终形成简单易懂的文章 写作不易,转载请注明,谢谢! 代码案例地址:
ELK-用户安装手册 _201904081
08-03
《ELK实时日志分析平台环境搭建手册》是一份详细的文档，介绍了如何在2019年3月至4月期间安装和配置ELK Stack（Elasticsearch、Logstash和Kibana）这一流行的日志管理和分析平台。该平台主要用于实时监控和分析大...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值