elastic
文章平均质量分 57
花阴偷移
水之积也无厚,则其负大舟也无力,目前从事数据采集和.net开发。
展开
-
elasticsearch from + size must be less than or equal to: [10000] but was [100000]
说明:当分页查询时,默认最大总数是10000(from+size<=10000),当我现在业务需要查询最大100000条时,就报错了。方案1:可以为某个es放开到指定的返回总数,也可以对整个es的索引做设置。但这样对内存消耗很大, 可能导致内存溢出,elasticsearch重启又会恢复默认10000 基于特定索引生效配置put <index_name>/_setti...原创 2023-08-24 10:37:00 · 227 阅读 · 0 评论 -
elasticsearch 索引重建实战
一.介绍 索引结构一但创建好后,是无法直接修改索引字段类型的,也无法直接删除索引中某一个字段,也无法增加分片,要解决这些问题,只能索引重建。 新增字段是不需要索引重建的。 下面是索引重建的一个案例: 当时创建一个索引后,在运行一段时间,发现索引字段应该为keyword类型,而不应该是keyword和text二种复合类型。还有创建日期CreateDate和CreateTime只...原创 2023-07-11 15:27:00 · 754 阅读 · 0 评论 -
elasticsearch bulk批量操作
说明: 在做业务增删改时,有时批量执行比循环中单个执行性能要好很多,在es中有批量执行方法(除了script),如下(.net)代码: public BulkResponse BulkUpdate(List<IBulkOperation> bulkOperationList) { BulkRequest bulkRequest...原创 2023-06-21 10:13:00 · 354 阅读 · 0 评论 -
elasticsearch 子文档nested类型查询
1.json 数据结构如下{ "took" : 3, "timed_out" : false, "_shards" : { "total" : 6, "successful" : 6, "skipped" : 0, "failed" : 0 }, "hits" : { "total" : { "value" : 162,...原创 2023-06-08 18:05:00 · 152 阅读 · 0 评论 -
Elasticsearch 大量频繁使用UpdateByQuery 脚本更新字段值 报错
下面是出错内容:WARNING:elasticsearch:POST http://es-cn-09k1o69vj0006jcz9.public.elasticsearch.aliyuncs.com:9200/crawl_basis_pn/_update_by_query [status:500 request:0.015s]DEBUG:elasticsearch:> {"query...原创 2023-06-05 16:41:00 · 565 阅读 · 0 评论 -
elasticsearch 配置设置事项
前言:本篇考虑Elasticsearch 7.6 官方文档, 熟悉下Elasticsearch的设置事项,参考资料:https://www.elastic.co/guide/en/elasticsearch/reference/current/index.html一. 配置事项 1.设置(Java虚拟机)JVM选项,需要关注的是设置堆的大小,默认1G,该文件的默认位置是config/j...原创 2022-12-27 11:04:00 · 739 阅读 · 0 评论 -
elasticsearch 查询示例
1. 代码含义: 当前索引ext_cms_article,查询条件伪代码是:article_type=2 AND (article_tabnames OR article_title OR article_content ORarticle_author) 其中operator:and 查询命中率高, 具体含义看官方介绍post ext_cms_article/_sea...原创 2022-12-27 11:01:00 · 65 阅读 · 0 评论 -
elasticsearch 运维监控
1.删除文档后,释放内存参考: https://www.itranslater.com/qa/details/25828660907244267522.删除索引而不是删除文档 删除的文档不会立即从 Elasticsearch 的文件系统中删除。相反,Elasticsearch 在每个相关分片上将文档标记为已删除。如果可能,请改为删除整个索引。Elasticsearch 可以立即直接从文件...原创 2022-12-26 16:04:00 · 34 阅读 · 0 评论 -
elasticsearch 分片和副本
一.分片 分片包括主分片和副本分片,主分片的数量在创建索引时就固定下来了,无法更改主分片数量。1.es的分片是使用在索引上,数据量少的建议使用1个分片,每个分片最好不超过30GB。你认为你的数据能达到200GB, 我们推荐你最多分配7到8个分片。2.过多的分片也需要额外的成本: 1)每个分片本质上就是一个Lucene索引, 因此会消耗相应的文件句柄, 内存和CPU资源。 2)每个...原创 2022-12-26 16:02:00 · 844 阅读 · 0 评论 -
elasticsearch 索引增删改示例
1.索引条件更新 update collect_material_page_address set IsCollectUri=true where IsCollectUri=false and CollectUri like 'https://www.futureelectronics.cn/search?q=Vishay:relevance:manufacturerName:...原创 2022-12-26 12:30:00 · 46 阅读 · 0 评论 -
scrapy elasticsearch 使用示例
1.安装elasticsearch-dsl 包pip3 install elasticsearch-dsl2.创建scrapy 项目 在项目结构中创建一个models文件夹, 有二个py文件,一个是__init__.py空文件,一个es操作的es_cnblogs.py文件 3. es_cnblogs.py文件代码如下 from datetime import dateti...原创 2022-08-03 15:12:00 · 79 阅读 · 0 评论 -
asp.net core系列 75 Elasticsearch与中文分词配置
一.elasticsearch on windows 1.下载地址: https://www.elastic.co/cn/downloads/elasticsearch 如果浏览器下载文件慢,建议使用迅雷下载,速度很快。下载版本为7.5.2 2.修改配置文件 下载后解压,找到config\jvm.options,分配JVM堆内存大小,原则上是分配总内存的50%...原创 2020-02-18 12:10:00 · 137 阅读 · 0 评论