一 Elasticsearch的安装
1:先确保linux已安装docker
2:启动Docker
systemctl start docker
3:打开docker官方仓库,拉取自己需要的elasticsearch镜像版本,拉取镜像的时候,需要指定其版本号
Docker官网: https://hub.docker.com
4:拉取镜像
docker pull docker.elastic.co/elasticsearch/elasticsearch:7.3.0(7.3.0为最新版本号)
5:使用镜像创建容器,启动elasticsearch服务
分两种方式,开发者模式和生产模式,开发者不需要配置太多,直接一行命令搞定,生产模式需要更多的配置
开发者模式
1:创建网络
docker network create esnet
2 创建并启动elasticsearch容器
查看镜像:docker images
创建运行
docker run --name es -p 9200:9200 -p 9300:9300 --network esnet -e “discovery.type=single-node” 095b6487fb77
-name 名称 给容器起个名字
-p 外部访问端口:容器端口 9200是供htpp访问端口,9300是供tcp访问的端口,如果不做端口映射,浏览器就不能访问elasticsearch的服务
–network 网络名 用于多个服务通信与隔离,例如用kibana连接elasticsearch就需要他们在同一个网络下
–095b6487fb77 通过docker images命令查看到需要创建的容器id,此处用镜像名也可以
使用docker ps查看elasticsearch容器是否创建成功
二 Python对Elasticsearch的常用操作
安装es相关模块: pip install elasticsearch5
#encoding:utf-8
from elasticsearch5 import Elasticsearch
import datetime
#es集群服务器地址
ES = [
'172.18.0.2:9200'
]
# 创建elasticsearch客户端
es = Elasticsearch(
ES,
# 启动前嗅探es集群服务器
sniff_on_start=True,
# es集群服务器结点连接异常时是否刷新es节点信息
sniff_on_connection_fail=True,
# 每60秒刷新节点信息
sniffer_timeout=60
)
# 向es中插入插入数据
# 不指定id,自动生成
es.index(index="megacorp", doc_type="error_code", body={"first_name":"wanger","last_name":"wanger", 'age': 28, 'about': 'I love to cooking', 'interests': ['book', 'play']})
# 指定id
es.index(index="megacorp1",id=4, doc_type="error_code",body={"first_name":"xiao","last_name":"wu", 'age': 66, 'about': 'I love to go rock climbing', 'interests': ['sleep', 'eat']})
# 指定id删除
es.delete(index="megacorp", id="AXUcfxddceyKQQupUaHK", doc_type="error_code")
# delete_by_query:删除满足条件的所有数据,查询条件必须符合DLS格式
query = {
"query": {
"match": {
"first_name": "xiao"
}
}
}
result = es.delete_by_query(index="megacorp", body=query)
print(result)
# match_all 查询--可以查询到所有文档,是没有查询条件下的默认语句。
query = {
"query": {
"match_all": {}
}
}
result = es.search(index="megacorp", body=query)
print(result)
# 使用dsl查询
# term 过滤--term主要用于精确匹配哪些值,比如数字,日期,布尔值或 not_analyzed 的字符串(未经切词的文本数据类型)
query = {
"query":{
"term":{
"age":28
}
}
}
result = es.search(index="megacorp", body=query)
print(result)
query = {
"query":{
"term":{
"first_name":"ls"
}
}
}
result = es.search(index="megacorp", body=query)
print(result)
# terms 过滤--terms 跟 term 有点类似,但 terms 允许指定多个匹配条件。 如果某个字段指定了多个值,那么文档需要一起去做匹配
query = {
"query":{
"terms":{
# "age": [25, 28]
"first_name": ["ls", "zhangsan"]
}
}
}
result = es.search(index="megacorp", body=query)
print(result)
# range 过滤--按照指定范围查找一批数据
"""
gt : 大于gte : 大于等于lt : 小于lte : 小于等于
"""
query = {
"query":{
"range":{
"age": {
"gt": 28
}
}
}
}
result = es.search(index="megacorp", body=query)
print(result)
# exists 和 missing 过滤--查找文档中是否包含指定字段或没有某个字段,类似于SQL语句中的IS_NULL条件
query = {
"query":{
"exists": {
"field": "first_name"
}
}
}
result = es.search(index="megacorp", body=query)
print(result)
# bool 过滤--合并多个过滤条件查询结果的布尔逻辑
# must :: 多个查询条件的完全匹配,相当于 and, must_not :: 多个查询条件的相反匹配,相当于 not,should :: 至少有一个查询条件匹配, 相当于 or。
query = {
"query":{
"bool":{
"must":{
"term": {"_score": 1.0},
"term": {"age": 25}
}
}
}
}
result = es.search(index="megacorp", body=query)
print(result)
query = {
"query":{
"bool":{
"must":{
"term": {"age": 25}
},
"must_not":{
"exists":{
"field": "name"
}
}
}
}
}
result = es.search(index="megacorp", body=query)
print(result)
# match 查询--标准查询,不管你需要全文本查询还是精确查询基本上都要用到它
# 做精确匹配搜索时,你最好用过滤语句,因为过滤语句可以缓存数据。
# match查询只能就指定某个确切字段某个确切的值进行搜索,而你要做的就是为它指定正确的字段名以避免语法错误。
query = {
"query":{
"match": {
"about": "rock"
}
}
}
result = es.search(index="megacorp", body=query)
print(result)
# multi_match 查询--match查询的基础上同时搜索多个字段,在多个字段中同时查一个
query = {
"query":{
"multi_match":{
"query": "game",
"fields": ["about", "interests"]
}
}
}
result = es.search(index="megacorp", body=query)
print(result)
# bool 查询--与 bool 过滤相似,用于合并多个查询子句。不同的是,bool 过滤可以直接给出是否匹配成功, 而bool 查询要计算每一个查询子句的 _score (相关性分值)。
query = {
"query":{
"bool":{
"must": {
"match": {"last_name": 'ls'}
},
"must_not":{
"exists":{
"field": "name"
}
}
}
}
}
result = es.search(index="megacorp", body=query)
print(result)
# wildcards 查询--使用标准的shell通配符查询
query = {
"query": {
"wildcard": {
"about": "ro*"
}
}
}
result = es.search(index="megacorp", body=query)
print(result)
# regexp 查询
query = {
"query": {
"regexp": {
"about": "*.ov.*"
}
}
}
result = es.search(index="megacorp", body=query)
print(result)
# prefix 查询 -- 以什么字符开头的
query = {
"query": {
"prefix": {
"about": "I"
}
}
}
result = es.search(index="megacorp", body=query)
print(result)
# 短语匹配(Phrase Matching) -- 寻找邻近的几个单词
query = {
"query": {
"match_phrase": {
"about": "I love"
}
}
}
result = es.search(index="megacorp", body=query)
print(result)
# 统计功能
query = {
"query": {
"match_phrase": {
"about": "I love"
}
}
}
result = es.count(index="megacorp", body=query)
print(result)
# 更新
query = {
"query": {
"match": {
"last_name": "xiao"
}
},
"script":{
"source": "ctx._source.last_name = params.name;ctx._source.age = params.age",
"lang": "painless",
"params" : {
"name" : "wang",
"age": 100,
},
}
}
result = es.update_by_query(index="megacorp", body=query)
print(result)