epitomizelu的专栏

原创 es用户认证与鉴权入门配置

https://www.jianshu.com/p/d021661c9b6ahttps://blog.csdn.net/fxtxz2/article/details/105707317/https://www.mcabana.com/archives/2107.htmlxpack.security.enabled: true一，在elasticsearch.yml文件中配置xpack.security.enabled: truexpack.security.transport.ssl.enabl

原创 es之ingest、pipeline、painless

一，injest pipeline// 测试POST _ingest/pipeline/_simulate{ "pipeline":{ "description":"split tags", "processors": [ { "split":{ "field":"tags", "separator":"," } } ] },

原创 es之关联查询

es并不擅长关联查询，其提供的解决方案有三种：对象，嵌套对象，父子文档一，对象POST moive/_doc/1{ "movie":"first blog", "actors":[{ "firstName":"lu", "lastName":"yong" },{ "firstName":"liu", "lastName":"yo3ng" } ]}GET moive/_search{ "query": { "bool": {

原创 elasticsearch missing authentication credentials for REST request [/_cluster/state?pretty]

因为有xpack认证，所以需要带认证信息，注意ip前加上用户名和密码，用@隔开。http://elastic:VEiYbtAop4Exe8rR7C@1.6.26.136:9200/wh_sku/_bulk

原创 es聚合分析的原理及精准度问题

原创 es之聚合作用范围与排序

聚合的作用范围有4种：默认对查询结果进行聚合，filter，post_filter，global一，默认对查询结果进行聚合GET kibana_sample_data_ecommerce/_search{ "query": { "match_all": {} }, "aggs": { "day_bucket": { "terms": { "field":"order_date", // 排序 "order":[

原创 es之pipeline用法

GET kibana_sample_data_ecommerce/_search{ "size": 1, "aggs": { "count_of_day": { "terms": { "field":"day_of_week_i" }, "aggs": { "avg_day_count": { "avg": { "field":"taxful_total_price"

原创 es之search after

一，问题es的分页查询基于from/size，存在深度分页问题。比如from=10000，size=10时，es会从每个分片取出(10000 + 10)条记录，如果有10个分片，则总共要取出(10000 + 10)*10条数据，协调节点在内存中对这些数据进行排序，最终返回10条数据。这种方式会耗费大量的系统资源，包括时间和空间。二，search aftersearch after可以解决这个问题，search after会记住每次分页查询在每个分片的最后位置，当下一次查询时，会从上一次查询结束的位

原创 es：聚合查询demo

GET kibana_sample_data_ecommerce/_search{ "size": 0, "aggs": { "ggg": { "terms": { "field":"day_of_week_i" }, "aggs": { "ststs": { "stats": { "field":"day_of_week_i" } }

原创 es：query and fetch

一，query and fetch1， 原理查询时，先根据条件在所有分片上查询满足条件的id，汇总到coordinate node上进行汇总排序，然后根据选出的id到各node上获取数据。2，问题一：深度分页3，问题二：数据量少分片多时的算分不准...

原创 idea类注释和方法注释模板设置

一，类注释设置/** * * *@description: *@author: your name *@time: ${DATE} ${TIME} * */二，方法注释1，新增template group2，新增方法模板3，编辑模板属性第5步，配置如下：

原创 es脑裂问题

es集群中只能有一个master节点和多个master候选节点。集群工作过程中，由于网络通信原因，在其他节点无法与master节点通信时，按照es的规则，会选举出一个新的master节点。有可能出现这样一种情况，部分节点能正常与master通信，部分不能正常通信。不能正常通信的节点会选举一个新的master节点，这样会出现同时存在两个master节点，集群有了两个大脑，这就称之为脑裂。避免脑裂：主节点不要作为数据节点，数据节点不要具备选举功能，不少于3个节点具备成为主节点的资格，多余(n/2 + 1)

原创 Elasticsearch unassigned shards的解决之道

elasticsearch 出现yellow 分片有unassigned现象原因如何处理elastic search中的unassigned shards?

原创 es之suggest

没太搞明白suggest的原理GET kibana_sample_data_ecommerce/_search{ "suggest": { "term-suggestion": { "text": "ddie", "term": { "field": "customer_first_name", "prefix_length":0, "suggest_mode":"always" } } }}

原创 function_score和一致性随机函数

一，function_score使用function score 来调整查询结果的算分，影响的是查询结果的顺序。比如根据下面的配置，算分的计算方法：新的算分=旧的算分+log(1 + factor*total_quantity)GET kibana_sample_data_ecommerce/_search{ "query": { "function_score": { "query": { "multi_match": { "query

原创 es之search template

1，创建一个templatePOST _scripts/tmplate_search_1{ "script":{ "lang": "mustache", "source": { "_source":["customer_full_name", "customer_last_name","manufacturer"], "size":20, "query":{ "multi_match":{ "query":"{{

原创 阿里云es安装ik分词器

1，在es的目录下执行命令注意要选择和es一致的版本号./elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.3.0/elasticsearch-analysis-ik-7.3.0.zip2, 安装成功后，重启es3，验证GET _analyze{ "analyzer": "ik_max_word", "text": "北京是首都"}

原创 ES之单字符串多字段查询：multi_match

在es的查询中，有两个指标非常重要，一是准确率，查询到的结果集中包含的正确结果数占比；二是召回率，就是查到的结果集中正确结果在所有正确结果(包含查询到的和未查询到的)中的占比。在单字符串多字段查询过程中，考虑到正确率，就是要把匹配度最高的放在最前面；考虑到召回率就是就可能多的把相关文档都查出来。在es中，multi_match就是针对单字符串多字段查询的解决方案，包括三种查询：best_fields,most_fields,cross_fields。一，best_fields多字段查询中，单字段匹配

原创 ES单字符串多字段查询： disjunction max query

当需要对同一个字符串在多个字段中进行查询时，用bool查询在算分时会多个查询结果的算分进行平均，而实际上有可能我们需要的是最匹配的那个字段对应的那条记录，这个时候就可以用到disjunciton max query 了。一，插入演示数据PUT dis_max_index/_bulk{"index":{"_id":1}}{"title":"apple key", "name":"i like iphone"}{"index":{"_id":2}}{"title":"2 key", "name":"

原创 es相关性和相关性算法

1，插入测试数据PUT testscore/_bulk{"index":{"_id":1}}{"name":"i like elastic search", "content":"elastic search is a great tool"}{"index":{"_id":2}}{"name":"elastic search", "content":"elastic search is a great tool, i will not give up studying it"}2，相关性de

原创 ES之结构化查询

结构化查询就是对结构比较精确的值的查询，es中对bool、数字、date的查询都是结构化查询。包括term查询、range查询PUT struct_query_index/_bulk{"index":{"_id":1}}{"price":10,"available":true,"productDate":"2010-10-10","productId":"PK-45TKY-90"}{"index":{"_id":2}}{"price":19,"available":true,"productDat

原创 es之index template 与dynamic template

一，index template根据实际业务场景预先创建索引创建的模板，这样在创建索引时不需要指定_setting和_mapping，对于需要频繁创建索引的场景是非常有效的。可以创建多个 index_template，在创建索引时会根据pattern和order进行匹配和合并。以下面的两个模板为例：模板1：PUT _template/default_template{ "index_patterns":["*"], "order":0, "version":1, "set

原创 搭建elasticsearch7.2集群

1，下载es2，安装es3，修改配置3.1 node-name3.2 cluster-name3.3 hosts3.4 ip3.5 网络策略3.6 节点类型3.7按步骤安装ES集群

原创 阿里云服务器安装软件

1，jdkyum install -y java-1.8.0-openjdk.x86_64安装目录是：/usr/lib/jvm2，安装elaswget -c https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.2.0-x86_64.rpm

原创 Field injection is not recommended

Service中使用Autowired注入field，会有浅灰色的警告。spring团队认为field可以分为强关联引用和弱关联引用，这两种不同的引用应该采用不同的注入方式。强关联引用的推荐注入方式（构造器注入）：final UserDao userDao;@Autowiredpublic UserServiceImpl(UserDao userDao) { this.userDao = userDao;}弱关联引用的推荐注入方式（set方法注入）： private UserDa