elasticsearch
文章平均质量分 50
黑武士1024
拒绝无偿加班的码工!
展开
-
ES7.8集群部署及CA认证
ES7.8集群部署及CA认证原创 2022-05-31 11:44:37 · 1381 阅读 · 0 评论 -
Elasticsearch 全文检索,高亮搜索,相似度排序优化
Elasticsearch 全文检索,高亮搜索,相似度排序优化POST index_name/_search{ "from":0, "size":10, "query":{ "bool":{ "filter": [ { "term": { "columnClassification": { "value": "新闻"原创 2021-11-24 18:32:41 · 2166 阅读 · 0 评论 -
ES GEO地理空间查询java版
ES GEO地理空间查询java版一、半径范围查询1、设置mapping,类型为geo_pointPUT /my_locations{ "mappings": { "properties": { "location": { "type": "geo_point" } } }}2、中心点查询半径内匹配点GET /my_locations/_search{ "query": { "bool": { "mus原创 2021-07-21 10:41:51 · 3431 阅读 · 1 评论 -
Elasticsearch Script 实现自定义标签
Elasticsearch Script 实现自定义标签1、 为数组数据字段追加数据PUT test_match/_doc/1{ "tags":["red"]}GET test_match/_searchPOST test_match/_update/1 { "script": { "source": "ctx._source.tags.add(params.tag)", "lang": "painless", "params": { "t原创 2021-07-07 15:43:21 · 455 阅读 · 0 评论 -
Elasticsearch复杂条件查询
Elasticsearch复杂条件查询select * from where (class2=“空气质量” and type3=“国家”) or (class2=“水质量”and class3=国家)PUT /_bulk{"index":{"_index":"test_join","_id":1}}{"context":"测试数据[空气质量-国家]","class1":"监测","class2":"空气质量","class3":"国家"}{"index":{"_index":"test_jo原创 2021-07-07 15:38:36 · 589 阅读 · 0 评论 -
IK Analysis for Elasticsearch
IK中文分词器IK Analysis for ElasticsearchVersionsInstallQuick ExampleDictionary Configuration热更新 IK 分词使用方法常见问题ChangesThanksIK Analysis for ElasticsearchThe IK Analysis plugin integrates Lucene IK analyzer (http://code.google.com/p/ik-analyzer/) into elasticse转载 2021-06-08 12:07:05 · 124 阅读 · 0 评论 -
ES跨集群数据迁移方案
需求背景测试环境 ES集群需要同步数据到生产环境ES集群。且测试环境和生产环境网络不通。迁移方案通过ES snapshot api 物理文件共享实现数据迁移测试环境(数据源)1、注册共享文件系统仓库修改elasticsearch.yml配置##添加共享目录path.repo: ["/data/share"]##重启所有节点服务$ service elasticsearch restart注册快照仓库$ curl -XPUT "localhost:9200/_snaps原创 2020-12-17 16:46:53 · 941 阅读 · 1 评论 -
Elasticsearch之倒排索引
倒排索引Elasticsearch通过倒排索引的数据结构来实现全文搜索在关系数据库系统里,索引是检索数据最有效率的方式。但对于搜索引擎,它并不能满足其特殊要求,比如海量数据下比如百度或者谷歌要搜索百亿级的网页,如果使用类似关系型数据库使用的B+树索引,可想而知其对cpu的计算能力要求得有多高。其次关系型数据库中一般存储的都是结构化的数据,数据格式都是一定的,操作上一般也都是curd等比较简单的...原创 2020-02-20 15:15:53 · 268 阅读 · 0 评论 -
Mapping 索引映射
Mapping 索引映射核心数据类型字符串类型: string text and keyword数字类型: Numeric long, integer, short, byte, double, float, half_float, scaled_float日期类型: Date date纳秒日期类型:Date nanoseconds date_nanos...原创 2020-02-20 15:03:32 · 341 阅读 · 0 评论 -
日志采集工具--Logstash、Filebeat、Fluentd、Logagent对比
常见的日志采集工具有Logstash、Filebeat、Fluentd、Logagent、rsyslog等等,那么他们之间有什么区别呢?什么情况下我们应该用哪一种工具?LogstashLogstash是一个开源数据收集引擎,具有实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来,并将数据标准化到你所选择的目的地。优势Logstash 主要的有点就是它的灵活性,主要因为...转载 2020-01-15 13:47:45 · 2236 阅读 · 0 评论 -
Elasticsearch进阶之路:Java Restapi Upsert文档操作
Java Restapi Upsert 文档操作文档更新UpdateRequest request = new UpdateRequest( "posts", "doc", "1"); String jsonString = "{" + "\"updated\":\"2017-01-01\"," + "...原创 2019-11-05 17:36:02 · 3211 阅读 · 0 评论 -
Elasticsearch进阶之路:调优实践
转自:腾讯技术工程背景Elasticsearch(ES)作为NOSQL+搜索引擎的有机结合体,不仅有近实时的查询能力,还具有强大的聚合分析能力。因此在全文检索、日志分析、监控系统、数据分析等领域ES均有广泛应用。而完整的ElasticStack体系(Elasticsearch、Logstash、Kibana、Beats),更是提供了数据采集、清洗、存储、可视化的整套解决方案。本文基于ES...转载 2019-08-02 10:54:00 · 1520 阅读 · 0 评论 -
Elasticsearch进阶之路:动态模板和性能优化
项目背景:项目中使用Elasticsearch做业务数据库,主要用于持久化要多条件Term索引,不涉及分词功能;由于数据量大,一年大概有5TB数据量,读取并发量大。数据需要1年热备,永久冷备。基于以上条件做优化。由于需要多索引支持部分字段聚合,所以没选择Hbase.原创 2019-07-24 18:32:46 · 1215 阅读 · 0 评论 -
Elasticsearch进阶之路:集群部署
Elasticsearch进阶之路:集群部署安装环境:centos 6.8master1.bigdatamaster1.bigdataslave1.bigdataslave2.bigdataslave3.bigdataelasticsearch version 5.2.11、创建用户useradd elasticsearchpasswd elasticsearch2、创...原创 2019-07-18 11:11:00 · 153 阅读 · 0 评论