![](https://img-blog.csdnimg.cn/20190907095017838.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Elasticsearch
Cocktail_py
这个作者很懒,什么都没留下…
展开
-
python操作solr从入门到掌握
一.安装并创建core1.1安装cd /usr/local/wget http://mirrors.hust.edu.cn/apache/lucene/solr/7.7.3/solr-7.7.3.tgztar -zxvf solr-7.7.3.tgz# 启动cd /usr/local/solr-7.7.3/bin./solr start -force1.2安装创建core#### 环境添加corecd /usr/local/solr-7.7.3/server# 添加自己的solr原创 2020-05-26 16:35:31 · 2199 阅读 · 0 评论 -
centos7 搭建elk日志系统
安装elasticsearch 6.0.01.下载和配置相应的elasticsearch文件# 进入到 cd /opt 下wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.0.0.zipunzip elasticsearch-6.0.0.zipcd elasticsearch-6.0.0/...原创 2019-05-22 20:12:29 · 869 阅读 · 0 评论 -
使用极限网关来处置 Elasticsearch 的 Apache Log4j 漏洞 [转载]
一.查看elasticsearch对应log4j版本cd /opt/elasticsearch-7.8.1/libll二.修复vim config/jvm.options-Dlog4j2.formatMsgNoLookups=true昨日爆出的 Log4j 安全漏洞,业界一片哗然,今天给大家介绍一下,如何使用极限网关来快速处置 Elasticsearch 的 Apache Log4j 漏洞。【CVE 地址】https://github.com/advisories/GHSA-jfh8-转载 2021-12-11 10:00:48 · 21223 阅读 · 0 评论 -
ElasticSearch寻找相关词
构建Shingles模版并指定相应字段使用该属性PUT /my_index{ "settings" : { "index" : { "analysis": { "filter": { "my_shingle_filter": { "type": "shingle", "min_shingle_size": 2,原创 2021-04-21 13:47:34 · 463 阅读 · 0 评论 -
ElasticSearch重启之后shard未分配导致个别索引为“红色”状态
1. Check the cluster allocation explain APIGET /_cluster/allocation/explain2.根据错误提示执行相应命令POST /_cluster/reroute?retry_failed=true3.查看原先“红色”状态的索引分片情况GET /_cat/shards?index=index_name参考:Health check on my ES cluster shows 99.7%记一次ElasticSearch重启之后原创 2021-03-01 10:37:46 · 17617 阅读 · 0 评论 -
ElasticSearch 通过script脚本自动生成Asia/Shanghai(东八区)时间
公司规定每次往es重中写入数据的时候都需要自动生成三个时间:create_time(创建时间),update_time(更新时间 默认等于创建时间),delete_time(删除时间默认为0)一.es默认为utc时间es默认是按UTC时间计算存储,国内的时区是+8(东八区),所以比UTC时间快8小时二.script脚本自动生成时间以及默认值1.定义管道(Pipeline)# 通过管道修改默认utc时间为东八区时间,并将默认值赋值给 create_time,update_time,delete.原创 2020-11-05 19:29:45 · 6691 阅读 · 5 评论 -
python logging 设置 elasticsearch 的日志级别
elasticsearch,查询时会打印大量无用的日志logging.getLogger("elasticsearch").setLevel(logging.WARNING)参考:https://www.jianshu.com/p/05610c9c897e转载 2020-09-26 19:59:45 · 5551 阅读 · 0 评论 -
python requests elasticsearch auth reindex alias 通过requests用户名密码验证实现es异步重建并指定别名
在使用elasticsearch7.x的过程中,发现elasticsearch默认的副本数和分片数都为1,随着数据量不断增多,一个分片导致写入索引的效率越来越低,之后决定对业务层和数仓的索引进行重建# -*- coding: utf-8 -*-# @Time : 2019/9/21 13:48# @Author : Cocktail_pyimport loggingimport tracebackimport requestsfrom elasticsearch import .原创 2020-09-22 09:25:18 · 6369 阅读 · 0 评论 -
使用setuptools 编写python sdk 解决安装包无法添加其他文件
根据公司需求利用es做hbase二级索引,编写相应的python sdk1.目录结构2.安装相关依赖pip install setuptools==41.0.1 -i http://pypi.douban.com/simple --trusted-host pypi.douban.com3.编写setup.py文件from setuptools import setup, find_packagessetup( name="hbase-thrift-py-sdk", .原创 2020-09-15 12:40:53 · 5042 阅读 · 1 评论 -
ElasticSearch reindex超时怎么解决
平时在工作中,发现定义的字段类型不对,然后需要新建索引,将旧的数据导到新的索引上,往往会出现超时现象 {"statusCode":502,"error":"Bad Gateway","message":"Client request timeout"}解决方法wait_for_completion=falsePOST /_reindex?slices=9&refresh&wait_for_completion=false{ "source": { "i.原创 2020-08-20 19:41:56 · 16623 阅读 · 7 评论 -
ElasticSearch7.4 开启用户读写索引权限
在之前的<<ElasticSearch 7.4集群部署 启用x-pack验证 Kibana7.4用户管理>>,新建一个没有superuser权限的用户之后,发现该用户没有写入索引的权限功能一.分析异常elasticsearch.exceptions.AuthorizationException: AuthorizationException(403, ‘security_exception’, ‘action [indices:admin/create] is unauthori原创 2020-07-03 23:27:11 · 7873 阅读 · 1 评论 -
ElasticSearch 7.4集群部署 启用x-pack验证 Kibana7.4用户管理
一.es7.4集群搭建1.1下载es以及修改相应配置1.1.1节点规划内网ip节点192.168.18.126node-1192.168.18.125node-2192.168.18.133node-31.1.2下载cd /optwget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.4.2-linux-x86_64.tar.gztar -zxvf elasti原创 2020-07-03 11:01:50 · 3433 阅读 · 1 评论 -
Elasticsearch scroll 分页查询
Elasticsearch有两种分页方式,一种是通过from和size条件来实现,另一种是利用scroll来实现# -*- coding: utf-8 -*-# @Time : 2019/10/21 8:59# @Author :from elasticsearch import Elasticsearches = Elasticsearch(hosts="ip:9200...原创 2019-10-22 16:03:04 · 656 阅读 · 0 评论 -
python操作ElasticSearch--文档增删改查
我这里安装的是6.0.0版本https://blog.csdn.net/Cocktail_py/article/details/90451207pip install elasticsearch==6.0.0# 导包import jsonfrom elasticsearch import Elasticsearch创建Indexes = Elasticsearch(hosts=...原创 2019-08-20 06:13:55 · 2275 阅读 · 0 评论 -
ElasticSearch-Query查询方式
本文基于<<python操作ElasticSearch–文档增删改查>>进行创作1.query string search# 搜索全部商品GET /ecommerce/product/_searchimport jsonimport requestsresponse = requests.get("http://ip:9200/ecommerce/product...原创 2019-08-25 09:52:58 · 492 阅读 · 0 评论 -
ElasticSearch-group by + avg + sort等聚合分析
本文基于<<python操作ElasticSearch–文档增删改查>>进行创作第一个分析需求:计算每个tag下的商品数量"""# Fielddata is disabled on text fields by default. Set fielddata=true on [tags] in order to load fielddata in memory by u...原创 2019-08-25 20:25:39 · 217 阅读 · 0 评论 -
ElasticSearch-分布式原理-剖析Elasticsearch的基础分布式架构
1、Elasticsearch对复杂分布式机制的透明隐藏特性Elasticsearch是一套分布式的系统,分布式是为了应对大数据量隐藏了复杂的分布式机制分片机制(将一些document插入到es集群中去了,没有考虑过数据怎么进行分片的,数据到哪个shard中去)cluster discovery(集群发现机制)shard负载均衡(举例,假设现在有3个节点,总共有25个shard要分配到3...原创 2019-08-27 07:34:08 · 462 阅读 · 0 评论 -
ElasticSearch-乐观锁并发控制
ElasticSearch基于_version进行乐观锁来并发控制,version可分为ElasticSearch内部维护的version和外部自己维护的external version1. ElasticSearch内部的_version第一次创建一个document的时候,它的_version内部版本号就是1;以后,每次对这个document执行修改或者删除操作,都会对这个_versi...原创 2019-08-29 08:36:40 · 193 阅读 · 0 评论 -
ElasticSearch-partial update
基于普通api进行partial update# 创建一条数据PUT /test_index/test_type/10{ "test_field1": "test1", "test_field2": "test2"}POST /test_index/test_type/10/_update{ "doc": { "test_field2": "updated tes...原创 2019-09-01 12:08:29 · 279 阅读 · 0 评论 -
ElasticSearch-mget批量查询
mget是很重要的,一般来说,在进行查询的时候,如果一次性要查询多条数据的话,那么一定要用batch批量操作的api,尽可能减少网络开销次数,可以将性能提升数倍,甚至数十倍1.mget批量查询GET /_mget{ "docs" : [ { "_index" : "test_index", "_type" : "test_type"...原创 2019-09-01 14:35:51 · 643 阅读 · 0 评论 -
ElasticSearch-bulk批量操作增删改查(python实现)
bulk有哪些类型的操作可以执行呢?# 1.bulk的语法是怎样的呢?每一个操作要两个json串,语法如下:{"action": {"metadata"}}{"data"}# 2.bulk的操作有以下几种(1)delete:删除一个文档,只要1个json串就可以了(2)create:PUT /index/type/id/_create,强制创建(3)index:普通的put操作,可...原创 2019-09-01 16:03:02 · 2992 阅读 · 0 评论 -
ElasticSearch-multi-index和multi-type搜索模式
如何一次性搜索多个index和多个type下的数据# /index1,index2/_search 同时搜索两个index下的数据es.search(index="test_index,test_index2")# /*1,*2/_search 按照通配符去匹配多个索引es.search(index="*1,*2")# /index1/type1,type2/_search 可以...原创 2019-09-03 06:33:11 · 271 阅读 · 0 评论 -
ElasticSearch-查询 忽略大小写 完全匹配查询
创建索引 忽略大小写PUT /ecommerce{ "settings": { "analysis": { "normalizer": { "my_normalizer": { "type": "custom", "char_filter": [], "filter": ["lowercase"...原创 2019-09-12 11:13:14 · 2908 阅读 · 1 评论 -
centos7安装elasticsearch-7.0.1伪集群
centos7安装elasticsearch伪集群####### 主从节点首先需要安装java环境1.下载elasticsearch-7.0.1安装包# 进入到/opt目录下wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.0.1-linux-z# 解压tar -zxvf elastic...原创 2019-05-19 20:59:58 · 824 阅读 · 0 评论