elasticsearch
文章平均质量分 50
黑武士1024
拒绝无偿加班的码工!
展开
-
ES7.8集群部署及CA认证
ES7.8集群部署及CA认证原创 2022-05-31 11:44:37 · 1424 阅读 · 0 评论 -
Elasticsearch 全文检索,高亮搜索,相似度排序优化
Elasticsearch 全文检索,高亮搜索,相似度排序优化 POST index_name/_search { "from":0, "size":10, "query":{ "bool":{ "filter": [ { "term": { "columnClassification": { "value": "新闻"原创 2021-11-24 18:32:41 · 2226 阅读 · 0 评论 -
ES GEO地理空间查询java版
ES GEO地理空间查询java版 一、半径范围查询 1、设置mapping,类型为geo_point PUT /my_locations { "mappings": { "properties": { "location": { "type": "geo_point" } } } } 2、中心点查询半径内匹配点 GET /my_locations/_search { "query": { "bool": { "mus原创 2021-07-21 10:41:51 · 3517 阅读 · 1 评论 -
Elasticsearch Script 实现自定义标签
Elasticsearch Script 实现自定义标签 1、 为数组数据字段追加数据 PUT test_match/_doc/1 { "tags":["red"] } GET test_match/_search POST test_match/_update/1 { "script": { "source": "ctx._source.tags.add(params.tag)", "lang": "painless", "params": { "t原创 2021-07-07 15:43:21 · 472 阅读 · 0 评论 -
Elasticsearch复杂条件查询
Elasticsearch复杂条件查询 select * from where (class2=“空气质量” and type3=“国家”) or (class2=“水质量” and class3=国家) PUT /_bulk {"index":{"_index":"test_join","_id":1}} {"context":"测试数据[空气质量-国家]","class1":"监测","class2":"空气质量","class3":"国家"} {"index":{"_index":"test_jo原创 2021-07-07 15:38:36 · 598 阅读 · 0 评论 -
IK Analysis for Elasticsearch
IK中文分词器IK Analysis for ElasticsearchVersionsInstallQuick ExampleDictionary Configuration热更新 IK 分词使用方法常见问题ChangesThanks IK Analysis for Elasticsearch The IK Analysis plugin integrates Lucene IK analyzer (http://code.google.com/p/ik-analyzer/) into elasticse转载 2021-06-08 12:07:05 · 126 阅读 · 0 评论 -
ES跨集群数据迁移方案
需求背景 测试环境 ES集群需要同步数据到生产环境ES集群。 且测试环境和生产环境网络不通。 迁移方案 通过ES snapshot api 物理文件共享实现数据迁移 测试环境(数据源) 1、注册共享文件系统仓库 修改elasticsearch.yml配置 ##添加共享目录 path.repo: ["/data/share"] ##重启所有节点服务 $ service elasticsearch restart 注册快照仓库 $ curl -XPUT "localhost:9200/_snaps原创 2020-12-17 16:46:53 · 961 阅读 · 1 评论 -
Elasticsearch之倒排索引
倒排索引 Elasticsearch通过倒排索引的数据结构来实现全文搜索 在关系数据库系统里,索引是检索数据最有效率的方式。但对于搜索引擎,它并不能满足其特殊要求,比如海量数据下比如百度或者谷歌要搜索百亿级的网页,如果使用类似关系型数据库使用的B+树索引,可想而知其对cpu的计算能力要求得有多高。其次关系型数据库中一般存储的都是结构化的数据,数据格式都是一定的,操作上一般也都是curd等比较简单的...原创 2020-02-20 15:15:53 · 279 阅读 · 0 评论 -
Mapping 索引映射
Mapping 索引映射 核心数据类型 字符串类型: string text and keyword 数字类型: Numeric long, integer, short, byte, double, float, half_float, scaled_float 日期类型: Date date 纳秒日期类型:Date nanoseconds date_nanos...原创 2020-02-20 15:03:32 · 347 阅读 · 0 评论 -
日志采集工具--Logstash、Filebeat、Fluentd、Logagent对比
常见的日志采集工具有Logstash、Filebeat、Fluentd、Logagent、rsyslog等等,那么他们之间有什么区别呢?什么情况下我们应该用哪一种工具? Logstash Logstash是一个开源数据收集引擎,具有实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来,并将数据标准化到你所选择的目的地。 优势 Logstash 主要的有点就是它的灵活性,主要因为...转载 2020-01-15 13:47:45 · 2254 阅读 · 0 评论 -
Elasticsearch进阶之路:Java Restapi Upsert文档操作
Java Restapi Upsert 文档操作 文档更新 UpdateRequest request = new UpdateRequest( "posts", "doc", "1"); String jsonString = "{" + "\"updated\":\"2017-01-01\"," + "...原创 2019-11-05 17:36:02 · 3320 阅读 · 0 评论 -
Elasticsearch进阶之路:调优实践
转自:腾讯技术工程 背景 Elasticsearch(ES)作为NOSQL+搜索引擎的有机结合体,不仅有近实时的查询能力,还具有强大的聚合分析能力。因此在全文检索、日志分析、监控系统、数据分析等领域ES均有广泛应用。而完整的Elastic Stack体系(Elasticsearch、Logstash、Kibana、Beats),更是提供了数据采集、清洗、存储、可视化的整套解决方案。 本文基于ES...转载 2019-08-02 10:54:00 · 1569 阅读 · 0 评论 -
Elasticsearch进阶之路:动态模板和性能优化
项目背景:项目中使用Elasticsearch做业务数据库,主要用于持久化要多条件Term索引,不涉及分词功能;由于数据量大,一年大概有5TB数据量,读取并发量大。数据需要1年热备,永久冷备。基于以上条件做优化。由于需要多索引支持部分字段聚合,所以没选择Hbase.原创 2019-07-24 18:32:46 · 1230 阅读 · 0 评论 -
Elasticsearch进阶之路:集群部署
Elasticsearch进阶之路:集群部署 安装环境: centos 6.8 master1.bigdata master1.bigdata slave1.bigdata slave2.bigdata slave3.bigdata elasticsearch version 5.2.1 1、创建用户 useradd elasticsearch passwd elasticsearch 2、创...原创 2019-07-18 11:11:00 · 158 阅读 · 0 评论