go调用olivere包操作elasticsearch的常用基本操作

最新推荐文章于 2023-04-14 19:55:26 发布
最新推荐文章于 2023-04-14 19:55:26 发布
阅读量7.5k 收藏 8
点赞数 2
分类专栏： go
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Bobdragery/article/details/106826154
版权

go调用olivere包操作elasticsearch的常用基本操作

不想看下面啰嗦的直接看官方文档：点这儿

完整示例代码：

package main

import (
	"context"
	"fmt"
	"github.com/olivere/elastic/v7"
	"time"
)

type User struct {
	Name    string    `json:"name"`
	Age     int       `json:"age"`
	Married bool      `json:"married"`
	Sex string        `json:"sex"`
	Created time.Time `json:"created, omitempty"`
	Tags     []string              `json:"tags,omitempty"`
	Location string                `json:"location,omitempty"`
	Suggest  *elastic.SuggestField `json:"suggest_field,omitempty"`
}

// 定义一些变量，mapping为定制的index字段类型
const mapping = `
{
	"settings":{
		"number_of_shards": 1,
		"number_of_replicas": 0
	},
	"mappings":{
			"properties":{
				"name":{
					"type":"text"
				},
				"age":{
					"type":"long"
				},
				"married":{
				"type":"boolean"
				},
				"created":{
					"type":"date"
				},
				"tags":{
					"type":"keyword"
				},
				"location":{
					"type":"geo_point"
				},
				"suggest_field":{
					"type":"completion"
				}
		}
	}
}`
const mapping1 = `
{
  "properties": {
    "sex": {
      "type": "text"
    }
  }
}
}`
var ctx = context.Background()
var esUrl string = "http://192.168.1.109:9200"

func main() {

	//连接客户端
	client, err := elastic.NewClient(elastic.SetURL(esUrl), elastic.SetSniff(false))
	if err != nil {
		// Handle error
		panic(err)
	}
	// Ping the Elasticsearch server to get e.g. the version number
	// ping通服务端，并获得服务端的es版本,本实例的es版本为version 7.6.1
	info, code, err := client.Ping(esUrl).Do(ctx)
	if err != nil {
		// Handle error
		panic(err)
	}
	fmt.Printf("Elasticsearch returned with code>: %d and version %s\n", code, info.Version.Number)
	// 获取版本号的直接API
	esVersion, err := client.ElasticsearchVersion(esUrl)
	if err != nil {
		panic(err)
	}
	fmt.Printf("es的版本为%s\n", esVersion)
	// 创建index前，先查看es引擎中是否存在自己想要创建的索引index
	//exists, err := client.IndexExists("user").Do(ctx)
	//if err != nil {
	//	panic(err)
	//}
	//if !exists {
	//	// 如果不存在，就创建
	//	createIndex, err := client.CreateIndex("user").BodyString(mapping1).Do(ctx)
	//	if err != nil {
	//		// Handle error
	//		panic(err)
	//	}
	//	if !createIndex.Acknowledged {
	//		// Not acknowledged ,创建失败
	//	}
	
	//}
	 为已有的索引添加字段
	//
	//_, err = client.PutMapping().Index("user").BodyString(mapping1).Do(ctx)
	//if err != nil {
	//	fmt.Println(err)
	//	panic(err)
	//}

	// 添加文档方法1
	//user1 := User{Name:"bob",Sex:"male",Married:false,Age:23}
	//put1,err :=client.Index().Index("user").BodyJson(user1).Id("1").Do(ctx)
	//if err != nil{
	//	panic(err)
	//}
	//fmt.Printf("Indexed user %s to index %s, type %s\n", put1.Id, put1.Index, put1.Type) //Indexed user 1 to index user, type _doc

	 添加文档方法2
	//user2 := `{"name":"mike","sex":"male","married":true,"age":"22"}`
	//put2, err := client.Index().Index("user").BodyString(user2).Do(ctx)// 不指定id
	//if err != nil{
	//	panic(err)
	//}
	//fmt.Printf("Indexed user %s to index %s, type %s\n", put2.Id, put2.Index, put2.Type)//Indexed user 4-K2wXIB33YuyEzPYoAi to index user, type _doc

	// 查询
	get1, err := client.Get().Index("user").Id("1").Do(ctx)
	if err != nil{
		panic(err)
	}
	if get1.Found{
		fmt.Printf("Got document %s in version %d from index %s, type %s\n", get1.Id, get1.Version, get1.Index, get1.Type)
		// Got document 1 in version 824633838776 from index user, type _doc
	}

	// Flush to make sure the documents got written.将文档涮入磁盘
	//_, err = client.Flush().Index("user").Do(ctx)
	//if err != nil {
	//	panic(err)
	//}

	// 按"term"搜索Search with a term query
	//termQuery := elastic.NewTermQuery("name", "mike")
	//searchResult, err := client.Search().
	//	Index("user").   // 搜索的索引"user"
	//	Query(termQuery).   // specify the query
	//	Sort("age", true). //按字段"age"排序，升序排列
	//	From(0).Size(10).   // 分页，单页显示10条
	//	Pretty(true).       // pretty print request and response JSON以json的形式返回信息
	//	Do(ctx)             // 执行
	//if err != nil {
	//	// Handle error
	//	panic(err)
	//}
	//fmt.Printf("Query took %d milliseconds\n", searchResult.TookInMillis)// Query took 3 milliseconds
	//var user User
	// Each是一个简便函数，此函数忽略了错误输出
	//for _, item1 := range searchResult.Each(reflect.TypeOf(user)) {
	//	if u, ok := item1.(User); ok {
	//		fmt.Printf("Person by %s,age:%d,married:%t,Sex:%s\n", u.Name, u.Age, u.Married,u.Sex) //Person by bob,age:23,married:false,Sex:male
	//	}
	//}
	// 搜索文档方法2
	// 使用hits，获得更详细的输出结果
	//if searchResult.Hits.TotalHits.Value >0{
	//	fmt.Printf("找到的数据总数是 %d \n", searchResult.Hits.TotalHits.Value)
	//	for _,hits := range searchResult.Hits.Hits{
	//		u :=User{}
	//		err := json.Unmarshal([]byte(hits.Source), &u)
	//		if err != nil{
	//			fmt.Println("反序列化失败",err)
	//		}
	//		fmt.Printf("User by %s,age:%d,married:%t,Sex:%s\n", u.Name, u.Age, u.Married,u.Sex)
	//	}
	//}else {
	//	fmt.Println("没有搜到用户")
	//}

	// 更新文档 update
	//update, err := client.Update().Index("user").Id("1").
	//	Script(elastic.NewScriptInline("ctx._source.age += params.num").Lang("painless").Param("num", 1)).
	//	//Upsert(map[string]interface{}{"created": "2020-06-17"}). // 插入未初始化的字段value
	//	Do(ctx)
	//if err != nil {
	//	// Handle error
	//	panic(err)
	//}
	//fmt.Printf("New version of user %q is now %d\n", update.Id, update.Version)
	// 更新方法2
	//update,err := client.Update().Index("user").Id("1").
	//	Script(elastic.NewScriptInline("ctx._source.created=params.date").Lang("painless").Param("date","2020-06-17")).
	//	Do(ctx)
	termQuery := elastic.NewTermQuery("name", "bob")
	update,err := client.UpdateByQuery("user").Query(termQuery).
		Script(elastic.NewScriptInline("ctx._source.age += params.num").Lang("painless").Param("num", 1)).
		Do(ctx)
	if err != nil{
		panic(err)
	}
	//fmt.Printf("New version of user %q is now %d\n", update.Id, update.Version)
	fmt.Println(update)
	// 删除文档

	//termQuery := elastic.NewTermQuery("name", "mike")
	//_, err = client.DeleteByQuery().Index("user"). // search in index "user"
	//	Query(termQuery). // specify the query
	//	Do(ctx)
	//if err != nil {
	//	// Handle error
	//	panic(err)
	//}
}

CURD拆分解释

一、创建

1、创建客户端
// 说明：如果是本机开启的es服务不需要加setsniff参数，此用例是用docker和局域网内开启的服务
client, err := elastic.NewClient(elastic.SetURL(esUrl), elastic.SetSniff(false))
	if err != nil {
		// Handle error
		panic(err)
2、创建索引
// 创建index前，先查看es引擎中是否存在自己想要创建的索引index
	exists, err := client.IndexExists("user").Do(ctx)
	if err != nil {
		panic(err)
	}
	if !exists {
		// 如果不存在，就创建
		createIndex, err := client.CreateIndex("user").BodyString(mapping).Do(ctx)
		if err != nil {
			// Handle error
			panic(err)
		}
		if !createIndex.Acknowledged {
			// Not acknowledged ,创建失败
      fmt.println("Not acknowledged")
		}
3、创建定制文档字段type
// 前提是创建index的时候，没有执行字段mapping
_, err = client.PutMapping().Index("user").BodyString(mapping1).Do(ctx)
	if err != nil {
		fmt.Println(err)
		panic(err)
	}

说明：

// mapping 为url形式的字符串，要用反单引号
mapping = `
{
	"settings":{
		"number_of_shards": 1,
		"number_of_replicas": 0
	},
	"mappings":{
			"properties":{
				"name":{
					"type":"text"
				},
				"age":{
					"type":"long"
				},
				"married":{
				"type":"boolean"
				},
				"created":{
					"type":"date"
				},
				"tags":{
					"type":"keyword"
				},
				"location":{
					"type":"geo_point"
				},
				"suggest_field":{
					"type":"completion"
				}
		}
	}
}`
 mapping1 = `
{
  "properties": {
    "sex": {
      "type": "text"
    }
  }
}
}`

二、添加文档

两种方式，API分别为BodyJson和BodyString（观察来说，BodyString就是用反引号包裹的es原生语法）

// 添加文档方法1
	user1 := User{Name:"bob",Sex:"male",Married:false,Age:23}
put1,err:=client.Index().Index("user").BodyJson(user1).Id("1").Do(ctx)
	if err != nil{
		panic(err)
	}
	fmt.Printf("Indexed user %s to index %s, type %s\n", put1.Id, put1.Index, put1.Type) //Indexed user 1 to index user, type _doc

	// 添加文档方法2
user2 := `{"name":"mike","sex":"male","married":true,"age":"22"}`
	put2, err := client.Index().Index("user").BodyString(user2).Do(ctx)// 不指定id
if err != nil{
	panic(err)
}
	fmt.Printf("Indexed user %s to index %s, type

三、查询

// 使用文档id查询	
get1, err := client.Get().Index("user").Id("1").Do(ctx)
	if err != nil{
		panic(err)
	}
	if get1.Found{
		fmt.Printf("Got document %s in version %d from index %s, type %s\n", get1.Id, get1.Version, get1.Index, get1.Type)
    
  // 数据永久化，Flush to make sure the documents got written.将文档涮入磁盘
	_, err = client.Flush().Index("user").Do(ctx)
	if err != nil {
		panic(err)
	}

	// 按"term"搜索Search with a term query
termQuery := elastic.NewTermQuery("name", "mike")
	searchResult, err := client.Search().
		Index("user").   // 搜索的索引"user"
		Query(termQuery).   // specify the query
		Sort("age", true). //按字段"age"排序，升序排列
		From(0).Size(10).   // 分页，单页显示10条
		Pretty(true).       // pretty print request and response JSON以json的形式返回信息
		Do(ctx)             // 执行
	if err != nil {
		// Handle error
		panic(err)
	}
	fmt.Printf("Query took %d milliseconds\n", searchResult.TookInMillis)// Query took 3 milliseconds
	var user User
	 Each是一个简便函数，此函数忽略了错误输出
	for _, item1 := range searchResult.Each(reflect.TypeOf(user)) {
		if u, ok := item1.(User); ok {
			fmt.Printf("Person by %s,age:%d,married:%t,Sex:%s\n", u.Name, u.Age, u.Married,u.Sex) //Person by bob,age:23,married:false,Sex:male
		}
	}
    
	// 搜索文档方法2
	// 使用hits，获得更详细的输出结果
	if searchResult.Hits.TotalHits.Value >0{
		fmt.Printf("找到的数据总数是 %d \n", searchResult.Hits.TotalHits.Value)
		for _,hits := range searchResult.Hits.Hits{
			u :=User{}
			err := json.Unmarshal([]byte(hits.Source), &u)
			if err != nil{
				fmt.Println("反序列化失败",err)
			}
			fmt.Printf("User by %s,age:%d,married:%t,Sex:%s\n", u.Name, u.Age, u.Married,u.Sex)
		}
	}else {
		fmt.Println("没有搜到用户")
	}

三、更新文档

// 根据id更新文档 update
	update, err := client.Update().Index("user").Id("1").
		Script(elastic.NewScriptInline("ctx._source.age += params.num").Lang("painless").Param("num", 1)).
		//Upsert(map[string]interface{}{"created": "2020-06-17"}). // 插入未初始化的字段value
		Do(ctx)
/*
update,err := client.Update().Index("user").Id("1").	Script(elastic.NewScriptInline("ctx._source.created=params.date").Lang("painless").Param("date","2020-06-17")).	Do(ctx)
*/
	if err != nil {
	// Handle error
		panic(err)
	}
	fmt.Printf("New version of user %q is now %d\n", update.Id, update.Version)

	// 根据查出来的结果更新方法2

	termQuery := elastic.NewTermQuery("name", "bob")
	update,err := client.UpdateByQuery("user").Query(termQuery).
		Script(elastic.NewScriptInline("ctx._source.age += params.num").Lang("painless").Param("num", 1)).
		Do(ctx)
	if err != nil{
		panic(err)
	}
	fmt.Printf("New version of user %q is now %d\n", update.Id, update.Version)

四、删除

// 删除文档
termQuery := elastic.NewTermQuery("name", "mike")
	_, err = client.DeleteByQuery().Index("user"). // search in index "user"
		Query(termQuery). // specify the query
		Do(ctx)
	if err != nil {
		// Handle error
		panic(err)
	}
// 按文档id删除
_,err = client.Delete().Index("bob").Id("2").Do(ctx)
	if err != nil{
		panic(err)
	}

// 删除索引
_,err = client.DeleteIndex("user").Do(ctx)
	if err != nil{
		panic(err)
	}
Bob drudgery
关注
  • 2
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
专栏目录
genders:该项目已移至Github：https://github.com/chaos/genders-开源
05-08
Genders是用于集群配置管理的静态集群配置数据库。 它描述了群集的布局和配置，以便工具和脚本可以感知群集节点的变化。 该项目已移至Github：https://github.com/chaos/genders
SpringBoot集成Elasticsearch（已实现各种ES操作，上手即可用
11-12
本实例为博主原创，属于简单易上手并且能够拿来就用的SpringBoot ES 项目，全文使用的是ElasticsearchTemplate进行开发。 本实例涵盖ES中的各类操作，如索引操作、CRUD操作、批处理、结果排序、分页查询、检索查询、关键字查询、高亮显示、逻辑查询、过滤查询、分组查询等等。并且已经过生产环境验证，各位可放心使用。如有不对之处欢迎在博客中留言交流。谢谢！
Python 操作 ElasticSearch的完整代码
12-31
官方文档：https://elasticsearch-py.readthedocs.io/en/master/ 　　1、介绍 　　　　python提供了操作ElasticSearch 接口，因此要用python来操作ElasticSearch，首先要安装python的ElasticSearch包，用命令pip install elasticsearch安装或下载安装：https://pypi.python.org/pypi/elasticsearch/5.4.0 　　2、创建索引 　　　　假如创建索引名称为ott，类型为ott_type的索引，该索引中有五个字段： 　　　　title：存储中文
elastic.NewTermsQuery踩坑
lishuangquan1987的博客
04-14 203
这一句不能直接传切片，后来查询到很多文章反馈此坑。
go调用olivere包操作elasticsearch获取原始数据
liweiapi的博客
11-12 1794
这里写自定义目录标题go调用olivere包操作elasticsearch获取原始数据 go调用olivere包操作elasticsearch获取原始数据 核心代码如下： //这里是查询条件 boolQ := elastic.NewBoolQuery() //boolQ.Filter(elastic.NewRangeQuery("saveTime").Gte(begin)) res,err := this.deviceDBClient.Search("索引名称"). Size(10000). Qu
安装elasticsearch遇到的坑
renzhongrui的博客
05-05 712
1、：max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144] elasticsearch启动时遇到的错误，意思是：elasticsearch用户拥有的内存权限太小，至少需要262144。 解决： 切换到root用户执行命令： sysctl -w vm.max_map_co...
创建elastic索引报错问题解决
weixin_42551921的博客
11-18 874
报错信息： type：illegal_argument_exception reason: ****please check any require… 可能得原因： body 参数 { "mappings":{ "properties":{ "realname":{ "type":"text", "index":true }, "username":{ "type":"keyword", "index":false } } } } 看下body参数是否是mappings开始的 ...
Go 操作 ElasticSearch 实战
a...Z
07-26 1756
在这里记录一下Golang操作elastic的使用方式，本文使用的是第三方包github.com/olivere/elastic的v7版本。 1.精确匹配单个字段 使用term查询， package mainimport (    "context"    "fmt"    "github.com/olivere/elastic/v7"  &nbsp
golang elasticsearch 查询
xueqinglalala的博客
07-14 1383
elasticsearch的查询语法比较丰富，下面分别介绍golang 的各种查询用法。如果对ES的查询语法和概念不了解，请阅读：ES教程elasticsearch的term查询，下面给出完整的代码 2.通过terms实现SQL的in查询 通过terms查询语法实现，多值查询效果例子： 3.匹配单个字段 某个字段使用全文搜索，也就是ES的match语法例子： 4.范围查询 实现类似Created > '2020-07-20' and Created < '2020-07-22'的范围查询条
【数据库篇】Elasticsearch知识总结
王大阳的博客
10-29 1365
在公司需要用到es，这里做下知识点的记录吧 一、基础 工具 阿里云es提供查询工具，包括kibana 集群信息 推荐es-head 用Chrome插件 或者 GitHub 查询index结构 GET user_login_log/message/_mapping 二、简单查询 ES 读取过程分为GET和Search两种操作。 GET/MGET（批量GET）： 需要指定_index、_type、_id。也就是根据id从正排索引中获取内容。 Search: Search不指定_id，根据关键词从哪个倒排索
golang操作elasticsearch的实现
12-17
1.1 docker 安装elasticsearch 查询elasticsearch 版本 docker search elasticsearch 将对应的版本拉到本地 docker.elastic.co/elasticsearch/elasticsearch:7.3.0 创建一个网络 docker network create esnet ...
Python对ElasticSearch获取数据及操作
12-26
使用Python对ElasticSearch获取数据及操作，供大家参考，具体内容如下 Version Python ：2.7 ElasticSearch：6.3 代码： #!/usr/bin/env python # -*- coding: utf-8 -*- """ @Time : 2018/7/4 @Author : ...
python中的Elasticsearch操作汇总
09-18
主要介绍了python中的Elasticsearch操作汇总,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
gin框架结合grpc
Bobdragery的博客
09-04 6680
一、创建 mkdir grpc-go-client cd grpc-go-client go mod grpc-go-client # 下载并安装gin go get -u github.com/gin-gonic/gin 二、创建main.go文件 Main.go package main import ( "fmt" "net/http" "github.com/gin-gonic/gin" ) func main(){ r := gin.Default() // 测试一个get请求
go的取模运算小tips
Bobdragery的博客
09-27 5882
golang的取模运算 go的取模运算不同于python，而是和c++相同，如果是正数就正常操作， 如果是负数的取模运算，则需要特别注意，必须(k%n+n)%n c:=2%3 //2 d:=(-10%3+3)%3//2 dd :=-2%3 //-2 错误
golang开发工具总结(持续中)
Bobdragery的博客
08-25 3041
golang 开发 工具
go监听系统文件变动--fsnotify包的使用
Bobdragery的博客
08-24 2425
Go 的 fsnotify 的使用 简单介绍一下go中监控文件发生变动的fsnotify包的使用 1、上手使用mynotify.go 逻辑： 使用fsnotify包创建一个“监听器” 设置要监听的文件目录 package main import ( "log" "github.com/fsnotify/fsnotify" ) func main() { // 创建文件/目录监听器 watcher, err := fsnotify.NewWatcher() if
golang使用nethttp的post请求发送图片
Bobdragery的博客
06-03 2369
golang使用net/http的post请求发送图片 发送post请求需要使用表单提交 package main import ( "bytes" "fmt" "io" "io/ioutil" "mime/multipart" "net/http" "os" ) func ocr_post(url string){ buf := new(bytes.Buffer) // 实例化一个结构体 writer := multipart.NewWriter(buf) // 返回一个wri
elasticsearch常用操作
最新发布
09-26
elasticsearch是一个开源的分布式搜索和分析引擎，常用于处理大量的实时数据。以下是elasticsearch的一些常用操作： 1. 创建索引： PUT /index_name 创建一个新的索引，其中index_name是你要创建的索引名称。 2. 删除索引： DELETE /index_name 删除指定的索引，其中index_name是你要删除的索引名称。 3. 查看所有索引： GET /_cat/indices 查看所有已经创建的索引列表。 4. 添加文档： POST /index_name/_doc { "field1": "value1", "field2": "value2" } 在指定的索引中添加一个新的文档，其中index_name是索引名称，field1和field2是文档的字段名。 5. 查询文档： GET /index_name/_search { "query": { "match": { "field": "value" } } } 在指定的索引中查询符合条件的文档，其中index_name是索引名称，field是查询的字段名，value是要匹配的值。 6. 更新文档： POST /index_name/_update/document_id { "doc": { "field": "new_value" } } 更新指定索引中的文档，其中index_name是索引名称，document_id是文档的唯一标识，field是要更新的字段名，new_value是新的值。 请问还有其他关于elasticsearch的问题吗？ 相关问题: 1. 如何在elasticsearch中进行聚合操作？ 2. 怎样在elasticsearch中实现全文搜索？

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值