Solr/ElasticSearch
文章平均质量分 64
Solr/ElasticSearch
いNeil
专注研发团队管理,软件架构,团队建设,职业发展等方向
展开
-
ES 用 reindex 做数据迁移-从集群A 的数据,导入到 集群B
reindex是Elasticsearch提供的一个api接口,可以把数据从源ES集群导入到当前的ES集群,同样实现了数据的迁移,限于腾讯云ES的实现方式,当前版本不支持reindex操作。有时候需要将Es里面的部分数据(以index为单位)转移到另一台主机下的es中,为了避免大量重复执行之前读取数据的耗时操作,只需要将对应的ES目录下的nodes目录中的相关数据文件夹拷贝到其他主机下的es中对应的nodes目录中即可。本脚本为在本地es集群拉取远端es集群数据。目标: 从集群A 的数据,导入到 集群B。转载 2023-04-26 11:13:36 · 1311 阅读 · 1 评论 -
ES 添加对象Nested和Object 的区别
ObjectES原生支持Object类型,也就是任意字段都可以是个对象,而ES又是所有字段都支持多值,即都可以是list。es的object类型虽然是对象类型,但是数据是打平存储的。就丢失了keyword和count之间的关联关系,就不知道谁是 1谁是2了。可是NP0001是1,NP0002才是2 所以,为解决es object类型的数据扁平化存储问题,引入了nested类型。原创 2023-01-05 14:05:13 · 2202 阅读 · 0 评论 -
ElasticSearch 搜索建议 suggest
注意您也可以通过索引两个输入Beatles和来实现此目的TheBeatles,如果您能够丰富自己的数据,则无需更改简单的分析器。理想情况下,自动完成功能应与用户键入的速度一样快,以提供与用户已经键入的内容相关的即时反馈。每个选项数组都包含一个选项对象,该选项对象包含建议文本,其文档频率和与建议输入文本相比的得分。输入是建议查询将与之匹配的预期文本,权重决定了建议的评分方式。建议与往常一样工作,除了必须将建议类型指定为完成。"text""nobelprize",------这里。......转载 2022-07-28 17:57:07 · 779 阅读 · 0 评论 -
es 聚合分页(group by后分页)
es 实现sql的 group by后如何分页?先放json解释,再放纯净版方便copy{ "query": { ...... //搜索条件 }, "aggs": { "count": { // COUNT(*),统计GROUP BY后的总数 "cardinality": { "field": "goods_id" // 因为我这里GROUP BY的字段是goods_id,所以转载 2022-05-05 09:34:12 · 2093 阅读 · 0 评论 -
elasticsearch 设置多少分片合适
大多数ElasticSearch用户在创建索引时通用会问的一个重要问题是:我需要创建多少个分片?在本文中, 我将介绍在分片分配时的一些权衡以及不同设置带来的性能影响. 如果想搞清晰你的分片策略以及如何优化,请继续往下阅读.为什么要考虑分片数分片分配是个很重要的概念, 很多用户对如何分片都有所疑惑, 当然是为了让分配更合理. 在生产环境中, 随着数据集的增长, 不合理的分配策略可能会给系统的扩展带来严重的问题.同时, 这方面的文档介绍也非常少. 很多用户只想要明确的答案而不仅仅一个数字范围,转载 2022-02-11 11:10:18 · 1707 阅读 · 0 评论 -
Elasticsearch设置最大返回条数
curl -XPUT http://127.0.0.1:9200/rtiaes/_settings -d '{ "index" : { "max_result_window" : 2147483647}}'注意:1.size的大小不能超过index.max_result_window这个参数的设置,默认为10,000。2.需要搜索分页,可以通过from size组合来进行。from表示从第几行开始,size表示查询多少条文档。from默认为0,size默认为10;3.将索引库默认值设置为.原创 2021-11-24 09:59:01 · 3966 阅读 · 0 评论 -
ES父子关系创建、新增、查询、更新、删除
创建索引PUT auto_parts-whole-network-index原创 2021-08-05 17:13:24 · 1510 阅读 · 4 评论 -
ES 学习 (分组,区间,排序,分页,高亮)
目录.pngES 搜索1 分组查询类比mysql数据库-- 查询所有SELECT * FROM tb_sku WHERE name LIKE '%手机%';-- 根据品牌名字分组查询SELECT brand_name FROM tb_sku WHERE name LIKE '%手机%' GROUP BY brand_name;ES中 (使用elasticsearchTemplate)private Map<String, Object> searchG...转载 2021-05-25 17:04:53 · 2607 阅读 · 0 评论 -
java操作elasticsearch实现基本的增删改查操作
一、在进行java操作elasticsearch之前,请确认好集群的名称及对应的ES节点ip和端口1、查看ES的集群名称#进入elasticsearch.yml配置文件/opt/elasticsearch-6.4.3/configvim elasticsearch.yml2、查询ip二、根据文档id查询数据/** * */package com.cyb.test;import java.net.InetAddress;import java.net.Un转载 2021-05-24 19:21:46 · 1011 阅读 · 0 评论 -
ES系列十二、ES的scroll Api及分页实例
目录1.官方api 1.Scroll概念 2.Client support for scrolling and reindexing(滚动搜索和索引之间的文档重索引) 3.基本用法 1.Keeping the search context alive 2.Clear scroll API 3.Sliced Scroll 3.实现分页案例 1.实现分页,每页20条数据,第一次请求返回第一页数据 2.使用scroll_id请求后面的几页的数据,每次返回一页 3.异常:转载 2021-04-15 13:25:08 · 1523 阅读 · 0 评论 -
solr - defType - 查询权重排序
[solr] - defType - 查询权重排序Solr的defType有dismax/edismax两种,这两种的区别,可参见:http://blog.csdn.net/duck_genuine/article/details/8060026下面示例用于演示如下场景:有一网站,在用户查询的结果中,需要按这样排序:VIP的付费信息需要排在免费信息的前头 点击率越高越靠前...转载 2019-05-06 17:45:06 · 297 阅读 · 0 评论 -
Solr学习总结(四)Solr查询参数
今天还是不会涉及到.Net和数据库操作,主要还是总结Solr 的查询参数,还是那句话,只有先明白了solr的基础内容和查询语法,后续学习solr 的C#和数据库操作,都是水到渠成的事。这里先列出solr查询所需要的参数 wiki 地址:http://wiki.apache.org/solr/FrontPage, 里面有各个参数详细的介绍。 一.基本查询 q 查询的关...转载 2019-05-06 10:20:11 · 244 阅读 · 0 评论 -
手把手教你如何玩转Solr(包含项目实战)
备注:学习Solr最好先了解一下Lucene的基本内容,不需要很熟,但是知道个基础即可。大家可以关注我的微信公众号:Java菜鸟进阶之路一:Solr简介Solr是一个独立的企业级搜索应用服务器,它对外提供类似于Web-service的API接口。用户可以通过http请求,向搜索引擎服务器提交一定格式的XML文件,生成索引;也可以通过Http Get操作提出查找请求,并得到X...转载 2019-03-31 16:45:55 · 186 阅读 · 0 评论 -
安装 elasticsearch-head 管理工具 可视化管理
声明:本文纯属个人随手笔记,如果对您有参考价值我十分开心,如果有存在错误,或者有更好的解决办法也麻烦您留言告诉我,大家共同成长,切勿恶言相。 欢迎加入资源共享QQ群:275343679,一起发现知识、了解知识、学习知识、分享知识。网站:www.itlantian.top==============================================================...原创 2019-07-02 13:44:00 · 756 阅读 · 0 评论