一、基本概念
1、Index（索引）：名词，相当于 MySQL 中的 Database
2、Type（类型）：类似于 MySQL 中的 Table；每一种类型的数据放在一起
3、Document（文档）：文档是 JSON 格式的，Document 就像是 MySQL 中的某个 Table 里面的内容；
4、倒排索引机制
二、Docker 安装 Es
1、下载镜像文件
docker pull elasticsearch:7.4.2 存储和检索数据
docker pull kibana:7.4.2 可视化检索数
docker images :查看已经安装镜像
free -m ：查看内存
2、创建实例
1）、ElasticSearch
mkdir -p /mydata/elasticsearch/config
mkdir -p /mydata/elasticsearch/data
echo "http.host: 0.0.0.0" >> /mydata/elasticsearch/config/elasticsearch.yml
cat elasticsearch.yml :查看内容
chmod -R 777 /mydata/elasticsearch/ 保证权限
docker run --name elasticsearch -p 9200:9200 -p 9300:9300 \
-e "discovery.type=single-node" \
-e ES_JAVA_OPTS="-Xms64m -Xmx512m" \
-v /mydata/elasticsearch/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml \
-v /mydata/elasticsearch/data:/usr/share/elasticsearch/data \
-v /mydata/elasticsearch/plugins:/usr/share/elasticsearch/plugins \
-d elasticsearch:7.4.2
然后就在9200端口启动了，URL输入http://192.168.56.10:9200
重启操作： docker ps -a ；查看（包括未启动的）
docker start 18a
开机自启动：docker update 18a（id号） --restart=always
删除操作：docker stop 18a；
docker rm 18a；
docker ps -a
2）、Kibana
docker run --name kibana -e ELASTICSEARCH_HOSTS=http://192.168.56.10:9200 -p 5601:5601 -d kibana:7.4.2
开机自启动：docker update 455（id号） --restart=always
三、初步检索
1、_cat
GET /_cat/nodes：查看所有节点
GET /_cat/health：查看 es 健康状况
GET /_cat/master：查看主节点
GET /_cat/indices：查看所有索引 相当于show databases;
2、索引一个文档（保存一条记录）
保存一个数据，保存在哪个索引的哪个类型下，指定用哪个唯一标识
http://192.168.56.10:9200/customer/external/1 ：；在 customer 索引下的 external 类型下保存 1 号数据为
put请求：{ "name": "John Doe"}
PUT 和 POST保存更新 都可以，
POST 新增。如果不指定 id，会自动生成 id。指定 id 就会修改这个数据，并新增版本号
PUT 可以新增可以修改。PUT 必须指定 id；由于 PUT 需要指定 id，我们一般都用来做修改操作，不指定 id 会报错。
3、查询文档
GET customer/external/1
更新请求：http://192.168.56.10:9200/customer/external/1?if_seq_no=2&if_primary_term=1 乐观锁机制
4、更新文档
方式一：
POST customer/external/1/_update
{ "doc":{ "name": "John Doew"
}
}
方式二：
POST customer/external/1
{ "name": "John Doe2"
}
方式三：
PUT customer/external/1
{ "name": "John Doe"
}
POST和PUT不带_updata得不对比原先数据，带_updata得对比原先数据，相同就不会有任何操作
5、删除文档&索引
1、DELETE customer/extern 删除文档
2、DELETE custome 删除索引
6、bulk 批量 API
https://github.com/elastic/elasticsearch/blob/7.4/docs/src/test/resources/accounts.json?raw=true 导入测试数据
POST bank/account/_bulk
测试数据
四、进阶检索
手册官网：https://www.elastic.co/guide/en/elasticsearch/reference/current/mapping.html
1、SearchAPI
ES 支持两种基本方式检索 :
⭐一个是通过使用 REST request URI 发送搜索参数（uri+检索参数）
⭐另一个是通过使用 REST request body 来发送它们（uri+请求体）
第一种方式：一切检索从_search 开始 ：GET bank/_search?q=*&sort=account_number:asc
第二种方式： uri+请求体进行检索：
GET bank/_search
{
"query": {
"match_all": {}
},
"sort": [
{
"account_number": {
"order": "desc"
}
}
]
}2、Query DSL
1）、基本语法格式
2）、返回部分字段： "_source": ["age","balance"]
GET bank/_search
{
"query": {
"match_all": {}
},
"sort": [
{
"balance": {
"order": "desc"
}
}
],
"from":0
, "size": 5,
"_source": ["age","balance"]
}
3）、match【匹配查询】 全文检索
⭐ 基本类型（非字符串），精确匹配
⭐ 字符串，全文检索
⭐字符串，多个单词（分词+全文检索）
GET bank/_search
{
"query": {
"match": {
"address": "mill road"
}
}
}
##全文检索按照评分进行排序，会对检索条件分词匹配
4）、match_phrase【短语匹配】
GET bank/_search
{
"query": {
"match_phrase": {
"address": "mill road"
}
}
}5）、multi_match【多字段匹配】
###也会进行分词
GET bank/_search
{
"query": {
"multi_match": {
"query": "mill",
"fields": ["state","address"]
}
}
}
6）、bool【复合查询】
⭐must：必须达到 must 列举的所有条件
⭐must_not 必须不是指定的情况
⭐should：应该达到 should 列举的条件，如果达到会增加相关文档的评分，并不会改变查询的结果。
GET bank/_search
{
"query": {
"bool": {
"must": [
{
"match": {"address": "mill"}
},
{
"match": {"gender": "M"}
}
],
"should": [
{
"match": {"address": "lane"}
}
],
"must_not": [
{
"match": {"email": "baluba.com"}
}
]
}
}
}
7）、filter【结果过滤】
并不是所有的查询都需要产生分数，特别是那些仅用于 “filtering”（过滤）的文档。不会产生查询分数
8）、term
和 match 一样。匹配某个属性的值。全文检索字段用 match，其他非 text 字段匹配用 term
GET bank/_search
{
"query": {
"bool": {
"must": [
{
"term": {"age": {"value": "28"}}
},
{
"match": {"address": "990 Mill Road"}
}
]
}
}
}9）、aggregations（执行聚合）
##复杂：查出所有年龄分布，并且这些年龄段中 M 的平均薪资和 F 的平均薪资以及这个年龄段的总体平均薪资
GET bank/account/_sea
GET bank/_search
{
"query": {
"match_all": {}
},
"aggs": {
"avg_age": {
"terms": {
"field": "age",
"size": 10
},
"aggs": {
"male": {
"terms": {
"field": "gender.keyword",
"size": 10
},
"aggs": {
"avg_bal": {
"avg": {"field": "balance"}
}
}
},
"balance_avg":{
"avg": {
"field": "balance"
}
}
}
}
}
}
3、Mapping 映射
手册官网：https://www.elastic.co/guide/en/elasticsearch/reference/current/mapping.html
GET bank/_mapping :查询bank索引下的属性映射
1）、创建映射
PUT /my-index
{
"mappings": {
"properties": {
"age": {
"type": "integer"
},
"email": {
"type": "keyword" //创建的是一个精确索引
},
"name": {
"type": "text" //创建的是一个全局索引
}
}
}
}2）、添加新的字段映射
PUT /my-index/_mapping
{
"properties": {
"employee-id": {
"type": "keyword",
"index": false
}
}
}
3）、更新映射
对于已经存在的映射字段，我们不能更新。更新必须创建新的索引进行数据迁移
4）、数据迁移
先创建出 new_twitter 的正确映射。然后使用如下方式进行数据迁移
POST _reindex
{
"source": {
"index": "twitter"，
"type": "tweet #当老版本中有类型，故还要加上这一行
},
"dest": {
"index": "new_twitter"
}
}4、
1）分词--安装ik分词器
将elasticsearch-analysis-ik-5.6.11.zip 解压之后放在/mydata/elasticsearch/plugins下
⭐⭐⭐一个遇到的问题，就是在plugins放入解压后的ik之后再重启elasticsearch之后，elasticsearch一直不断重启，问题解决的方案是elasticsearch
版本要和ik版本一致，我的都是7.4.2
补充：
使用MobaXterm,可以实现windos和linux的文件互传，
chmod -R 777 ik/ 改变文件夹 ik/ 的权限为可读可写可执行
docker exec -it 18a /bin/bash ：进入docker中的18a项目中
exit； 退出docker
docker restart elasticsearch ： 重启elasticsearch
⭐修改linux网络配置：
1、cd /etc/sysconfig/network-scripts/
2、ls
3、 ip addr 查看我们使用的是哪个网络
4、vi ifcfg-eth1
添加：
GATEWAY=192.168.56.1
DNS1=114.114.114.114
DNS2=8.8.8.8
5、重启网络 ：service network restart
6、ping baidu.com
curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.163.com/.help/CentOS7-Base-163.repo
更改Linux yum源:
更改方法:
1、进入yum配置文件目录
cd /etc/yum.repos.d/
2、备份配置文件
mv CentOS-Base.repo CentOS-Base.repo.bak
3、下载163的配置,并改名
curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.163.com/.help/CentOS7-Base-163.repo
4、生成缓存
yum makecach2）分词--安装ik分词器
POST _analyze
{
"analyzer": "ik_smart",
"text": "我是中国山东人"
}
安装 nginx:
1、docker下载nginx： docker run -p 80:80 --name nginx -d nginx:1.10
2、在mydata\下创建 nginx文件夹
3、将docker容器内的 nginx文件夹放到mydata下：docker container cp nginx:/etc/nginx .
4、停止并移除docker里面的nginx：
docker stop nginx
docker rm nginx
5、在mydata下创建conf文件夹，将nginx文件目录里面的文件放到conf下，然后清空nginx，然后将conf放到nginx里面
6、创建新的nginx
docker run -p 80:80 --name nginx \
-v /mydata/nginx/html:/usr/share/nginx/html \
-v /mydata/nginx/logs:/var/log/nginx \
-v /mydata/nginx/conf:/etc/nginx \
-d nginx:1.10
7、cd /mydata/nginx/html
8、vi index.html输入i进入插入模式：
<h1>Guilimall</h1>
9、在/mydata/nginx/html 下mkdir es
10、cd /mydata/nginx/html/es
vi fenci.txt
加入自定义分词如：尚硅谷
10、游览器输入：http://192.168.56.10/es/fenci.txt
就可以看到效果了，之后有想加入的自定义词汇就可以加到fenci.txt文件下
11、cd /mydata/elasticsearch/plugins/ik/config
12、vi IKAnalyzer.cfg.xml
加入：
<!--用户可以在这里配置远程扩展字典 -->
<entry key="remote_ext_dict">http://192.168.56.10/es/fenci.txt</entry>
13、docker restart elasticsearch
14、
POST _analyze
{
"analyzer": "ik_max_word",
"text": "尚硅谷机构"
}
附录：
SpringBoot 整合elasticSearch：
1、创建一个springboot项目，版本为<version>2.1.8.RELEASE</version>，导入spring-web依赖和common依赖
2、导入es的rest-high-level-client
<dependency>
<groupId>org.elasticsearch.client</groupId>
<artifactId>elasticsearch-rest-high-level-client</artifactId>
<version>7.4.2</version>
</dependency>这个版本要和使用的elasticsearch版本对应，springboot默认给添加了elasticsearch版本，这时候需要添加
<properties>
<java.version>1.8</java.version>
<elasticsearch.version>7.4.2</elasticsearch.version>
</properties>
3、因为导入的common依赖中包括一些数据库的依赖，此时启动文件GulimallSearchApplication需要排除数据库
@SpringBootApplication(exclude = DataSourceAutoConfiguration.class)
4、开启nacos注册中心，将该模块注册进入nacos注册中心
在application.properties中写入：
spring.cloud.nacos.config.server-addr=127.0.0.1:8848
spring.application.name=gulimall-search
并开启@EnableDiscoveryClient 注册发现
5、编写配置,给容器中注入一个RestHighLevelClient
@Configuration
public class GulimallElasticSearchConfig {
@Bean
public RestHighLevelClient esRestClient(){
RestClientBuilder builder =null;
builder = RestClient.builder(new HttpHost("192.168.56.10", 9200, "http"));
RestHighLevelClient client = new RestHighLevelClient(builder);
return client;
}
}java测试篇：
一：测试容器中是否已经注入了RestHighLevelClient
@RunWith(SpringRunner.class)
@SpringBootTest
public class GulimallSearchApplicationTests {
@Autowired
private RestHighLevelClient client;
@Test
public void contextLoads() {
System.out.println(client);
}
}
二、测试存储、更新ES数据
参考文档API：https://www.elastic.co/guide/en/elasticsearch/client/java-rest/current/java-rest-high-document-index.html
@Test
public void indexData() throws IOException {
//创建索引
IndexRequest indexRequest = new IndexRequest("users");
//数据的id
indexRequest.id("1");
User user = new User();
user.setUserName("zhangsan");
user.setAge(18);
user.setGender("男");
String jsonString = JSON.toJSONString(user);
indexRequest.source(jsonString, XContentType.JSON);
//执行索引保存操作
IndexResponse index = client.index(indexRequest, GulimallElasticSearchConfig.COMMON_OPTIONS);
//提取有用的响应数据
System.out.println(index);
}
@Data
class User {
private String userName;
private String gender;
private Integer age;
}
三、复杂检索:在bank中搜索address中包含mill的所有人的年龄分布以及平均年龄，平均薪资
参考文档API：https://www.elastic.co/guide/en/elasticsearch/client/java-rest/current/java-rest-high-search.html
利用在线软件将json生成java实体类：https://www.bejson.com/json2javapojo/new/
@ToString
@Data
static class Account {
private int account_number;
private int balance;
private String firstname;
private String lastname;
private int age;
private String gender;
private String address;
private String employer;
private String email;
private String city;
private String state;
}
@Test
public void searchData() throws IOException {
//1. 创建检索请求
SearchRequest searchRequest = new SearchRequest();
//1.1）指定索引
searchRequest.indices("bank");
//1.2）构造检索条件
SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();
sourceBuilder.query(QueryBuilders.matchQuery("address", "Mill"));
// System.out.println("检索条件："+sourceBuilder.toString());
//1.2.1)按照年龄分布进行聚合
TermsAggregationBuilder ageAgg = AggregationBuilders.terms("ageAgg").field("age").size(10);
sourceBuilder.aggregation(ageAgg);
//1.2.2)计算平均年龄
AvgAggregationBuilder ageAvg = AggregationBuilders.avg("ageAvg").field("age");
sourceBuilder.aggregation(ageAvg);
//1.2.3)计算平均薪资
AvgAggregationBuilder balanceAvg = AggregationBuilders.avg("balanceAvg").field("balance");
sourceBuilder.aggregation(balanceAvg);
// System.out.println("检索条件：" + sourceBuilder.toString());
searchRequest.source(sourceBuilder);
//2. 执行检索
// SearchResponse searchResponse = client.search(searchRequest, RequestOptions.DEFAULT);
SearchResponse searchResponse = client.search(searchRequest, GulimallElasticSearchConfig.COMMON_OPTIONS);
System.out.println("检索结果：" + searchResponse.toString());
//3. 将检索结果封装为Bean
//得到第一层的hits
SearchHits hits = searchResponse.getHits();
//得到第二层的hits
SearchHit[] searchHits = hits.getHits();
for (SearchHit searchHit : searchHits) {
String sourceAsString = searchHit.getSourceAsString();
Account account = JSON.parseObject(sourceAsString, Account.class);
System.out.println(account);
}
// //4. 获取聚合信息
Aggregations aggregations = searchResponse.getAggregations();
Terms ageAgg1 = aggregations.get("ageAgg");
for (Terms.Bucket bucket : ageAgg1.getBuckets()) {
String keyAsString = bucket.getKeyAsString();
System.out.println("年龄：" + keyAsString + " ==> " + bucket.getDocCount());
}
Avg balanceAvg1 = aggregations.get("balanceAvg");
System.out.println("平均薪资：" + balanceAvg1.getValue());
}
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
