Elasticsearch特点:
1、基于lucene
2、使用简单
3、分布式存储
4、基于Restful(http)
5、支持各种语言的客户端
6、PB级别数据
7、性能好、速度高(近实时)
8、支持集群
9、处理json格式数据
安装ElasticSearch:
官方下载地址:https://www.elastic.co/downloads/elasticsearch
解压:elasticsearch-5.2.2.zip
启动:bin目录 elasticsearch.bat
config目录中jvm.options
占用内存大小设置
-Xms1g
-Xmx1g
验证:访问http://localhost:9200/
可视化工具:kibana客户端
Kibana5.2.2下载地址:https://www.elastic.co/downloads/kibana
解压:kibana-5.2.2-windows-x86.zip
启动:bin目录kibana.bat ----自动连上ElasticSearch 127.0.0.1:9200
访问:http://localhost:5601
Restful是一种面向资源的架构风格,可以简单理解为:使用URL定位资源,用HTTP动词(GET,POST,DELETE,PUT)描述操作。
ElasticSearch相关概念
1、Near Realtime(NRT):近实时,两个意思,从写入数据到数据可以被搜索到有一个小延迟(大概1秒);基于es执行搜索和分析可以达到秒级
2、Index:索引库,包含一堆有相似结构的文档数据,比如可以有一个客户索引,商品分类索引,订单索引,索引有一个名称。一个index包含很多document,一个index就代表了一类类似的或者相同的document。比如说建立一个product index,商品索引,里面可能就存放了所有的商品数据,所有的商品document。
3、Document&field:文档,es中的最小数据单元,一个document可以是一条客户数据,一条商品分类数据,一条订单数据,通常用JSON数据结构表示,每个index下的type中,都可以去存储多个document。一个document里面有多个field,每个field就是一个数据字段。
4、Type:类型,每个索引里都可以有一个或多个type,type是index中的一个逻辑数据分类,一个type下的document,都有相同的field,比如博客系统,有一个索引,可以定义用户数据type,博客数据type,评论数据type。
PUT crm/employee/1 crm就是索引库,employee就是Type
{
"name":"zhangsan",
"height":"180cm"
}
5、Cluster:集群,包含多个节点,每个节点属于哪个集群是通过一个配置(集群名称,默认是elasticsearch)来决定的,对于中小型应用来说,刚开始一个集群就一个节点很正常
6、Node:节点,集群中的一个节点,节点也有一个名称(默认是随机分配的),节点名称很重要(在执行运维管理操作的时候),默认节点会去加入一个名称为“elasticsearch”的集群,如果直接启动一堆节点,那么它们会自动组成一个elasticsearch集群,当然一个节点也可以组成一个elasticsearch集群
7、shard(?ɑ?rd,分片):单台机器无法存储大量数据,es可以将一个索引中的数据切分为多个shard,分布在多台服务器上存储。有了shard就可以横向扩展,存储更多数据,让搜索和分析等操作分布到多台服务器上去执行,提升吞吐量和性能。每个shard都是一个lucene index。
8、replica(?repl?k?,复制品):任何一个服务器随时可能故障或宕机,此时shard可能就会丢失,因此可以为每个shard创建多个replica副本。replica可以在shard故障时提供备用服务,保证数据不丢失,多个replica还可以提升搜索操作的吞吐量和性能。primary shard(建立索引时一次设置,不能修改,默认5个),replica shard(随时修改数量,默认1个),默认每个索引10个shard,5个primary shard,5个replica shard,最小的高可用配置,是2台服务器。
ElasticSearch集群健康状态
1、green,绿色:所有的主分片和副本分片都已分配
2、yellow,黄色:所有的主分片已经分片了,但至少还有一个副本是缺失的
3、red,红色:至少一个主分片以及它的全部副本都在缺失中
文档的正删改查(文档就相当于数据库表中的每条数据)
1、创建文档
PUT /crm/user/id
{
“id”:1,
“name”:“zs”,
“age”:18
}
POST /crm/user
{
“id”:2,
“name”:“zs”,
“age”:18
}
2、获取指定文档
GET /crm/user/1
获取文档指定字段
GET /crm/user/1?_source=name
只获取元数据
GET /crm/user/1/_source
3、修改文档
(先删除原数据在替换)
POST /crm/user/1
{
“name”:“xx”,
“age”:10
}
局部修改
POST /crm/user/1/_update
{
“doc”: {
“name”:“ff”
}
}
4、删除文档
DELETE /crm/user/1
5、批量获取:
(可以在不同索引库)
GET _mget
{
“docs” : [
{
“_index” : “crm”,
“_type” : “user”,
“_id” : 2,
“-source”:“name”
},
{
“_index” : “crm”,
“_type” : “user”,
“_id” : 1,
“-source”:“name”
}
]
}
(同一索引库)
GET crm/user/_mget
{
“ids” : [ “2”, “1” ]
}
6、空搜索:
没有指定任何的查询条件,只返回集群索引中的所有文档: GET _search
7、分页查询:
GET /crm/_search?size=5&from=0
8、查询字符串搜索:
GET crm/user/_search?q=age:28
GET crm/user/_search?q=age[10 TO 30]
DSL查询:
GET crm/user/_search
{
“query”: {
“match_all”: {}
},
“query”: {
“match” : {
“name” : “xx”
}
},
“from”: 0,
“size”: 10,
“_source”: [“name”, “age”, “id”],
“sort”: [“age”:“desc”]
}
DSL过滤:
{
“query”: {
“bool”: { 与(must) 或(should) 非(must not)
“must”: [
{“match”: {“description”: “search” }}
],
“filter”: {
“term”: {“tags”: “lucene”}
}
}
},
“from”: 20,
“size”: 10,
“_source”: [“fullName”, “age”, “email”],
“sort”: [{“join_date”: “desc”},{“age”: “asc”}]
}
安装IK分词器
https://github.com/medcl/elasticsearch-analysis-ik
解压elasticsearch-analysis-ik-5.2.2.zip里面的东西放到ElasticSearch的plugins/ik中
测试分词器:
POST _analyze
{
“analyzer”:“ik_smart”,
“text”:“在全文检索理论中,文档的查询是通过关键字查询文档索引来进行匹配”
}
注意:IK分词器有两种类型,分别是ik_smart分词器和ik_max_word分词器。
ik_smart: 会做最粗粒度的拆分。
ik_max_word: 会将文本做最细粒度的拆分。
ES字段类型
1、基本字段类型:
字符串:text(分词),keyword(不分词) StringField(不分词文本),TextFiled(要分词文本)
text默认为全文文本,keyword默认为非全文文本
数字:long,integer,short,double,float
日期:date
逻辑:boolean
{user:{“key”:value}}
{hobbys:[xxx,xx]}
2、复杂数据类型:
对象类型:object
数组类型:array
地理位置:geo_point,geo_shape
3、文档映射
PUT shop;//创建索引库
POST shop/goods/_mapping
{
“goods”: {
“properties”: {
“price”: {
“type”: “integer”
},
“name”: {
“type”: “text”,
“analyzer”: “ik_smart”,
“search_analyzer”: “ik_smart”
}
}
}
}
put shop/goods/1
{
“price”:88,
“name”: “iphone8”
}
全局模板
PUT _template/global_template
{
“template”: “",
“settings”: { “number_of_shards”: 1 },
“mappings”: {
“default”: {
“_all”: {
“enabled”: false
},
“dynamic_templates”: [
{
“string_as_text”: {
“match_mapping_type”: “string”,
“match”: "_text”,
“mapping”: {
“type”: “text”,
“analyzer”: “ik_max_word”,
“search_analyzer”: “ik_max_word”,
“fields”: {
“raw”: {
“type”: “keyword”,
“ignore_above”: 256
}
}
}
}
},
{
“string_as_keyword”: {
“match_mapping_type”: “string”,
“mapping”: {
“type”: “keyword”
}
}
}
]
}
}}
测试全局模板
PUT /wms/role/2
{
“id”:1,
“title_text”:“index admin”
}
GET /wms/role/_mapping
ElasticSearch集群
ElasticSearch集群安装:
1、elasticsearch-node1:elasticsearch.yml文件
# 统一的集群名
cluster.name: my-ealsticsearch
# 当前节点名
node.name: node-1
# 对外暴露端口使外网访问
network.host: 127.0.0.1
# 对外暴露端口
http.port: 9201
#集群间通讯端口号
transport.tcp.port: 9301
#集群的ip集合,可指定端口,默认为9300
discovery.zen.ping.unicast.hosts: ["127.0.0.1:9301","127.0.0.1:9302","127.0.0.1:9303"]
2、elasticsearch-node2:elasticsearch.yml文件
# 统一的集群名
cluster.name: my-ealsticsearch
# 当前节点名
node.name: node-2
# 对外暴露端口使外网访问
network.host: 127.0.0.1
# 对外暴露端口
http.port: 9202
#集群间通讯端口号
transport.tcp.port: 9302
#集群的ip集合,可指定端口,默认为9300
discovery.zen.ping.unicast.hosts: ["127.0.0.1:9301","127.0.0.1:9302","127.0.0.1:9303"]
3、elasticsearch-node3:elasticsearch.yml文件
# 统一的集群名
cluster.name: my-ealsticsearch
# 当前节点名
node.name: node-3
# 对外暴露端口使外网访问
network.host: 127.0.0.1
# 对外暴露端口
http.port: 9203
#集群间通讯端口号
transport.tcp.port: 9303
#集群的ip集合,可指定端口,默认为9300
discovery.zen.ping.unicast.hosts: ["127.0.0.1:9301","127.0.0.1:9302","127.0.0.1:9303"]
测试ElasticSearch集群
分别启动三个ES节点 , 访问:http://127.0.0.1:9201/
启动kibana
-
GET _cat/nodes?v :查看Node
-
GET _cat/indices?v : 查看索引库
-
GET _cat/shards?v :查看分片
创建索引库:
PUT shopping
{
“settings”:{
“number_of_shards”:5,
“number_of_replicas”:1
}
}
Java操作ElasticSearch
1、导包
<dependency>
<groupId>org.elasticsearch.client</groupId>
<artifactId>transport</artifactId>
<version>5.2.2</version>
</dependency>
<dependency>
<groupId>org.apache.logging.log4j</groupId>
<artifactId>log4j-api</artifactId>
<version>2.7</version>
</dependency>
<dependency>
<groupId>org.apache.logging.log4j</groupId>
<artifactId>log4j-core</artifactId>
<version>2.7</version>
</dependency>
2、编写工具
public class ESClientUtil {
public static TransportClient getClient(){
Settings settings = Settings.builder()
.put("cluster.name","my-ealsticsearch")
.put("client.transport.sniff", true).build();
TransportClient client = null;
try {
client = new PreBuiltTransportClient(settings)
.addTransportAddress(
new InetSocketTransportAddress(InetAddress.getByName("127.0.0.1"), 9303));
} catch (UnknownHostException e) {
e.printStackTrace();
}
return client;
}
}
3、Java测试代码
//添加文档
@Test
public void testAddDocument(){
//获取客户端对象
TransportClient client = ESClientUtil.getClient();
//创建索引库
IndexRequestBuilder indexRequestBuilder = client.prepareIndex("crm", "user", "1");
//添加数据
Map<String,Object> map=new HashMap<>();
map.put("id",1);
map.put("username","dg");
map.put("info","wo shi dg");
IndexResponse indexResponse = indexRequestBuilder.setSource(map).get();
System.out.println(indexResponse.getResult());
}
//获取文档
@Test
public void testGetDocument(){
//获取客户端对象
TransportClient client = ESClientUtil.getClient();
//获取文档
GetRequestBuilder getRequestBuilder = client.prepareGet("crm", "user", "1");
//获取结果
GetResponse getFields = getRequestBuilder.get();
//System.out.println(getFields);
System.out.println(getFields.getSource());
}
//修改文档
@Test
public void testUpdateDocument(){
//获取客户端对象
TransportClient client = ESClientUtil.getClient();
//获取文档
UpdateRequestBuilder updateRequestBuilder = client.prepareUpdate("crm", "user", "1");
//修改数据
Map<String,Object> map=new HashMap<>();
map.put("id",1);
map.put("username","23");
map.put("info","wo shi 23");
//获取结果
UpdateResponse updateResponse = updateRequestBuilder.setDoc(map).get();
System.out.println(updateResponse);
}
//删除文档
@Test
public void testDeleteDocument(){
//获取客户端对象
TransportClient client = ESClientUtil.getClient();
//获取文档
DeleteRequestBuilder deleteRequestBuilder = client.prepareDelete("crm", "user", "1");
//获取结果
DeleteResponse deleteResponse = deleteRequestBuilder.get();
System.out.println(deleteResponse);
}
//批量操作
@Test
public void testBulkDocument(){
//获取客户端对象
TransportClient client = ESClientUtil.getClient();
//批量执行
BulkRequestBuilder bulkRequestBuilder = client.prepareBulk();
//添加操作
//创建索引库
IndexRequestBuilder indexRequestBuilder = client.prepareIndex("crm", "user", "5");
//添加数据
Map<String,Object> map=new HashMap<>();
map.put("id",5);
map.put("username","fdg");
map.put("info","wo shi fdg");
indexRequestBuilder.setSource(map);
bulkRequestBuilder.add(indexRequestBuilder);
IndexRequestBuilder indexRequestBuilder2 = client.prepareIndex("crm", "user", "6");
//添加数据
Map<String,Object> map2=new HashMap<>();
map2.put("id",6);
map2.put("username","fdg");
map2.put("info","wo shi fdg");
indexRequestBuilder2.setSource(map2);
bulkRequestBuilder.add(indexRequestBuilder2);
BulkResponse bulkItemResponses = bulkRequestBuilder.get();
BulkItemResponse[] items = bulkItemResponses.getItems();
for(BulkItemResponse re:items){
System.out.println(re);
System.out.println(re.getResponse());
}
}
//查询文档 DSL查询+DSL过滤
@Test
public void testSearchDocument(){
//获取客户端对象
TransportClient client = ESClientUtil.getClient();
SearchRequestBuilder searchRequestBuilder = client.prepareSearch("crm");
searchRequestBuilder.setTypes("user");
searchRequestBuilder.setFrom(0);
searchRequestBuilder.setSize(10);
searchRequestBuilder.addSort("age", SortOrder.ASC);
//查询条件
BoolQueryBuilder boolQueryBuilder = QueryBuilders.boolQuery();
List<QueryBuilder> must = boolQueryBuilder.must();
must.add(QueryBuilders.matchQuery("username" , "dg"));
List<QueryBuilder> filter = boolQueryBuilder.filter();
filter.add(QueryBuilders.rangeQuery("age").lte(20).gte(10));
filter.add(QueryBuilders.termQuery("id",11));
searchRequestBuilder.setQuery(boolQueryBuilder);
SearchResponse searchResponse = searchRequestBuilder.get();
SearchHits hits = searchResponse.getHits();
System.out.println("条数:"+hits.getTotalHits());
for (SearchHit hit : hits.getHits()) {
System.out.println(hit.getSource());
}
}