Elasticsearch基础

最新推荐文章于 2023-05-20 23:34:27 发布
最新推荐文章于 2023-05-20 23:34:27 发布
阅读量1.9k 收藏 1
点赞数
分类专栏： 分布式与微服务 文章标签： elasticsearch java 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44742328/article/details/122544928
版权

ES软件安装前面说过

MySQL	数据库		表		行			列
ES		Index	  Type	  Document	   Filed

Type ES6一个Index中只支持一个Type,ES7中不建议自定义Type

Index操作

创建索引

#创建索引
PUT test4

在这里插入图片描述

删除索引

#删除索引
DELETE test4

在这里插入图片描述

查看所有索引

#查看所有索引
GET _cat/indices

在这里插入图片描述

显示标题

#显示标题
GET _cat/indices?v

在这里插入图片描述

查看单个索引信息

#查看单个索引信息
GET test4

在这里插入图片描述

创建索引指定参数

#创建索引指定参数
PUT test5
{
  "settings" : {
      "index" : {
        "number_of_shards" : "5",
        "number_of_replicas" : "0"
        }
    }
    
}

在这里插入图片描述

Document

添加数据

#添加数据 _doc就是默认的Type名字
#没有指定id，ES自动分配
POST test4/_doc
{
  "sid":"1",
  "sname":"zs"
}

在这里插入图片描述

#指定ID
POST test4/_doc/4
{
  "sid":"2",
  "sname":"zl"
}

在这里插入图片描述

#PUT也可以添加数据，底层有幂等性检查：执行操作必须有检查
PUT test4/_doc/4
{
  "sid":"4",
  "sname":"zl"
}

在这里插入图片描述

#添加数据
PUT test4/_create/5
{
  "sid":"5",
  "sname":"aaa",
  "age":"11"
}

在这里插入图片描述

#PUT/POST执行相同的ID就是update
#添加数据指定Index和自定义Type不建议使用
PUT test2/table1/2
{
  "sid":"1",
  "sname":"abcd"
}

在这里插入图片描述

查看数据

#查看数据
GET /test4/_search

在这里插入图片描述

多条件查询

#must:多条件查询
GET test4/_search
{
  "query":{
    "bool":{
      "must":[
          {
            "match":{
              "sname":"zs"
            }
          },
          {
            "match":
            {
              "sid":"1"  
            }
          }
        ]
      }
    }
  }
}

在这里插入图片描述

或查询

#should 多条件 or
GET test4/_search
{
  "query":{
    "bool":{
      "should":[
        {
          "match":{
            "sname":"zs"
          }
        },
        {
          "match":{
            "sid":"2"
          }
        }
      ]
    }
  }
}

在这里插入图片描述

范围匹配

#范围匹配：gt大于， lt小于 gte、ge大于等于 lte、le 小于等于
GET test4/_search
{
  "query":{
    "bool":{
      "must":[
        {
          "match":{
            "sname":"zs"
          }
        }
      ],
      "filter":{
        "range":{
          "sid":{
            "gte":2
          }
        }
      }
    }
  }
}

在这里插入图片描述

高亮显示

#高亮显示
GET test4/_search
{
  "query":{
    "match":{
      "sname":"zs"
    }
  },
  "highlight":{
    "pre_tags":"<font color='red'>",
    "post_tags": "</font>",
    "fields": {
      "sname": {}
    }
  }
}

在这里插入图片描述

查看分词效果

#查看分词效果
GET _analyze
{
  "analyzer": "standard",
  "text": "z s"
}

在这里插入图片描述

#查看分词效果：未安装分词插件，是不支持中文分词的
GET _analyze
{
  "analyzer": "standard",
  "text": "深海泰坦"
}

在这里插入图片描述

#查看分词效果：安装分词插件之后
GET _analyze
{
  "analyzer": "ik_max_word",
  "text": "深海泰坦"
}

在这里插入图片描述

从数据库导入数据到ES

单表导入

配置文件

input {
	stdin {
	}
	jdbc {
		jdbc_connection_string => "jdbc:mysql://192.168.195.157:3306/customers"
		jdbc_driver_class => "com.mysql.jdbc.Driver"
		jdbc_user => "root"
		jdbc_password => "7777"
		jdbc_paging_enabled => "true"
		jdbc_page_size => "50000"	
		#要执行的sql文件
		statement_filepath => "/opt/elasticsearch/logstash-7.4.2/config/customer.sql"
		#statement => "select from "
		#定时字段各字段含义(由左至右)分、时、天、月、年，全部为*默认含义为每分钟都更新
		schedule => "* * * * *"
		type => "customer"
	}
}

output {
	if[type] == "customer"{
		elasticsearch {
			#ESIP地址与端口
			#hosts => "localhost:9200"
			hosts => ["localhost:9200"]
			#ES索引名称
			index => "customer"
			#文档_id, %{cid}意思是取查询出来的cid的值，并将其映射到es的_id字段中
			document_id => "%{cid}"
		}
	}
	stdout {
		# JSON格式输出
		codec => json_lines
	}
}

customer.sql

select * from customer

测试启动

./bin/logstash -f ./config/customer.conf -t

image-20220118114407518
创建索引和映射规则

#创建索引(空)
curl -XPUT http://localhost:9200/customer

#设置映射规则
curl -XPOST http://localhost:9200/customer/_mapping -H 'Content-Type:application/json' -d'
{
        "properties": {
            "description": {
                "type": "text",
                "analyzer": "ik_max_word",
                "search_analyzer": "ik_smart"
            }
        }

}'

在这里插入图片描述
在这里插入图片描述
启动logstash

./bin/logstash -f ./config/customer.conf

在这里插入图片描述
在这里插入图片描述
只要看到写入sql就一个没问题了，导入成功如下图
在这里插入图片描述

我们查询中华也能查到
在这里插入图片描述
修改数据库字段
在这里插入图片描述

多表导入

创建另一张表的索引以及映射关系

curl -XPUT http://localhost:9200/province

curl -XPOST http://localhost:9200/province/_mapping -H 'Content-Type:application/json' -d'
{
        "properties": {
            "pname": {
                "type": "text",
                "analyzer": "ik_max_word",
                "search_analyzer": "ik_smart"
            }
        }

}'

在这里插入图片描述

在这里插入图片描述
customer.conf配置文件

input {
	stdin {
	}
	jdbc {
		jdbc_connection_string => "jdbc:mysql://192.168.195.157:3306/customers"
		jdbc_driver_class => "com.mysql.jdbc.Driver"
		jdbc_user => "root"
		jdbc_password => "7777"
		jdbc_paging_enabled => "true"
		jdbc_page_size => "50000"	
		#要执行的sql文件
		statement_filepath => "/opt/elasticsearch/logstash-7.4.2/config/customer.sql"
		#statement => "select from "
		#定时字段各字段含义(由左至右)分、时、天、月、年，全部为*默认含义为每分钟都更新
		schedule => "* * * * *"
		type => "customer"
	}
	jdbc {
		jdbc_connection_string => "jdbc:mysql://192.168.195.157:3306/customers"
		jdbc_driver_class => "com.mysql.jdbc.Driver"
		jdbc_user => "root"
		jdbc_password => "7777"
		jdbc_paging_enabled => "true"
		jdbc_page_size => "50000"	
		#要执行的sql文件
		#statement_filepath => "/opt/elasticsearch/logstash-7.4.2/config/customer.sql"
		statement => "select * from province"
		#定时字段各字段含义(由左至右)分、时、天、月、年，全部为*默认含义为每分钟都更新
		schedule => "* * * * *"
		type => "province"
	}
}

output {
	if[type] == "customer"{
		elasticsearch {
			#ESIP地址与端口
			#hosts => "localhost:9200"
			hosts => ["localhost:9200"]
			#ES索引名称
			index => "customer"
			#文档_id, %{cid}意思是取查询出来的cid的值，并将其映射到es的_id字段中
			document_id => "%{cid}"
		}
	}
	if[type]=="province"{
		elasticsearch {
			#ESIP地址与端口
			#hosts => "localhost:9200"
			hosts => ["localhost:9200"]
			#ES索引名称
			index => "province"
			#文档_id, %{cid}意思是取查询出来的cid的值，并将其映射到es的_id字段中
			document_id => "%{pid}"
		}
	}
	stdout {
		# JSON格式输出
		codec => json_lines
	}
}

启动logstash

./bin/logstash -f ./config/customer.conf

看到这两条sql语句就没什么问题
在这里插入图片描述
我们在customer.conf 中写了type 的所以这里的字段就有个type，如果我们 mysql 中也有type字段就会导不进来，遇到这种情况我们可以给数据库字段取别名，示例：select pid,pname,type as ptype from provice
在这里插入图片描述

SpringBoot简单整合Elasticsearch

在这里插入图片描述

依赖

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-data-elasticsearch</artifactId>
</dependency>

实体类

@NoArgsConstructor
@AllArgsConstructor
@Data
@Document(indexName = "acoffee")
public class Goods {
    @Id
    private int id;
    @Field(index = true,analyzer = "ik_smart",type = FieldType.Text)
    private String name;
    @Field(index = false,store = true,type = FieldType.Double)
    private BigDecimal price;
}

自定义接口

//也可以继承ElasticsearchRepository接口 他们之间的关系图在最上面
public interface GoodsRepository extends CrudRepository<Goods,Integer> {
}

配置文件

spring:
  elasticsearch:
    rest:
      uris: http://192.168.195.157:9200

增加、修改

测试类

@Autowired
GoodsRepository goodsRepository;

@Test
void test01(){
    Goods goods = new Goods(1,"运动蓝牙耳机",new BigDecimal(488.00));
    goodsRepository.save(goods);
}

执行结果：
在这里插入图片描述

查询

在接口中使用我们自己的方法(我们一边写它会一边提示方法名)

public interface GoodsRepository extends  CrudRepository<Goods,Integer> {
    List<Goods> findGoodsByNameLike(String name);
}

测试类

@Test
void test02(){
    List<Goods> good = goodsRepository.findGoodsByNameLike("耳机");
    System.out.println(good);
}

执行结果：
在这里插入图片描述

删除

    void test03(){
        Goods goods = new Goods(1,"运动蓝牙耳机",new BigDecimal(488.00));
        goodsRepository.delete(goods);
    }

在这里插入图片描述

vid。
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ElasticSearch--索引与类型
IT利刃出鞘的博客
12-27 1万+
版本变化 其他网址 ElasticSearch 中的索引与类型的前生今世 - 程序印象
ElasticSearch之索引结构
scorpio的博客
09-24 3191
ElasticSearch之索引结构
Elasticsearch初探（2）——相关概念与索引、数据操作
Jitwxs
10-08 589
一、基本概念 由于Elasticsearch也是基于Lucene实现，因此它的许多概念和Luncene相似，关于Lucene的知识，可以参考文章： Lucene初探——基于Lucene 6.6.2。 1.1 Node、Cluster Elasticsearch本质上是一个分布式数据库，允许多台服务器协同工作，每台服务器可以运行多个 Elastic 实例。单个 Elastic 实例称为一个节点（no...
es7.x 基本知识扫盲 type，分片，副本，读写流程
健康平安的活着的专栏
05-16 2356
在一个索引中，可以定义一种或者多种数据类型，一个类型是你的缩影的一个逻辑上的分类/分区。在不同的版本，类型发生了不同变化。当你创建一个索引的时候，你可以指定你想要的分片的数量。，这个“索引”可以被放置到集群中的任何节点上。默认不再支持指定地索引类型，默认为：_doc。支持多种类型type。
ES为什么要移除types类型
Rocky balboa
01-07 3103
换句话说，使用上面的示例，用户类型中的 user_name 字段与 tweet 类型中的 user_name 字段存储在完全相同的字段中，并且两个 user_name 字段在两种类型中必须具有相同的映射（定义）。**您可以将推文和用户存储在推文索引中，将用户存储在用户索引中，而不是将推文和用户存储在单个推特索引中。同志们，可以试一下，在同一个index中，不同的type，创建一个同名的字段，但是类型不要弄成一样的，看能否成功创建。同一个数据库下，不同的表，命名名称一样的字段名。
Elasticsearch基础操作
04-06
Elasticsearch基础操作
ES基础入门培训-零基础门槛
08-16
ElasticSearch（ES）是一个强大的、基于Lucene的开源搜索服务器，专门设计用于云计算环境。它提供了实时、稳定、可靠且可扩展的搜索和分析功能，支持RESTful接口，使得操作简单易用。作为Java开发的项目，ES在Apache...
elasticsearch基础入门.pptx
08-16
这些只是Elasticsearch基础知识的一部分，实际使用中还有更多高级特性，如聚合分析、脚本字段、地理位置搜索等，都是构建强大搜索和分析系统的关键工具。Elasticsearch的灵活性和强大的功能使其成为现代数据驱动应用...
Elasticsearch 基础介绍及索引原理分析
08-25
Elasticsearch 基础介绍及索引原理分析 Elasticsearch 是一个分布式可扩展的实时搜索和分析引擎，建立在全文搜索引擎 Apache Lucene(TM) 基础上。它不仅包括了全文搜索功能，还可以进行分布式实时文件存储，并将每...
Elasticsearch 基础教程.pdf
最新发布
07-21
Elasticsearch 基础教程.pdf
ES查询知识小结
weixin_45442529的博客
05-20 9151
es的查询语法学习
ElasticSearch
qq_40298175的博客
09-17 633
一、搜索引擎介绍 在互联网项目中，涉及到检索的业务需求很多，我们可以通过对数据库的模糊查询实现检索功能，但是针对大数据量的操作，基于数据库的检索就显得力不从心了。所需我们要寻求一种高效的数据检索解决方案。 所谓搜索引擎，就是根据用户需求与一定算法，运用特定策略从互联网检索出指定的信息反馈给用户的一门检索技术。搜索引擎依托于多种技术，如网络爬虫技术、检索排序技术、网页处理技术、大数据处理技术、自然语言处理技术等，为信息检索用户提供快速、高相关性的信息服务。搜索引擎技术的核心模块一般包括爬虫、索引、检索和排
【ES】Elasticsearch的基本操作及相关概念-02
锥栗的博客
08-28 1185
前言 所有操作基于kibana的 devs tools，相关的安装可以看： 【ES学习】ElasticSearch MacOS版 安装与使用（图文教程） 【ES学习】ElasticSearch在Kibana的使用 Kibana安装（MacOS版） 本文承接【ES】Elasticsearch的基本操作及相关概念-01 先再加一个文档 PUT /megacorp/employee/4 { "first_name" : "Gang", "last_name" : "Xiao",
ES基础语法之索引&基础查询
zhanganggang的博客
02-10 1531
rror [02:12:23.167] [error][reporting] TimeoutError: waiting for target failed: timeout 30000ms exceeded at Function.waitWithTimeout (/opt/es7/kibana-7.5.2-linux-x86_64/node_modules/puppeteer-...
elasticsearch操作总结
sun博客
08-05 247
一.为什么会有elasticsearch 如今的数据量可以说是非常非常的庞大了，如果我们还是用常规的数据库mysql，SqlServer去进行数据的查询的话，虽然可以创建索引，但是对于几亿条数据，甚至更多的数据，创建索引有用么？肯定是没有用的，就比如我们在百度搜索，随便搜索个什么东西都会非常快的查出几千万条数据出来，这是用数据库查出来的么？很显然不是的。用的就是一些搜索引擎技术，而elastsea...
数据库的索引和存储引擎
weixin_49226813的博客
11-01 221
项目目录什么是数据库索引？索引的作用普通索引唯一索引主键索引组合索引全文索引查看索引删除索引俩张表之间建立内联建立索引视图事务的操作修改存储引擎查看创建表的默认引擎 什么是数据库索引？ 是一个排序的列表，存储着索引值和这个值所对应的物理地址 无须对整个表进行扫描，通过物理地址就可以找到所需数据 是表中—列或者若干列值排序的方法 需要额外的磁盘空间 索引的作用 数据库利用各种快速定位技术，能够大大加快查询速率 当表很大或查询涉及到多个表时，可以成千上万倍地提高查询速度 可以降低数据库的IO成本，并且还可以降低
六、ElasticSearch-高级查询操作二
tarcy的博客
04-29 301
1、范围查询
elasticsearch基础知识以及创建索引
热门推荐
赶路人儿
11-13 7万+
一、基础概念： 1、索引： 索引（index）是elasticsearch的一个逻辑存储，可以理解为关系型数据库中的数据库，es可以把索引数据存放到一台服务器上，也可以sharding后存到多台服务器上，每个索引有一个或多个分片，每个分片可以有多个副本。 2、索引类型（index_type）： 在es中，一个索引对象可以存储多个不同用途的对象，通过索引类型（index_type）可以区分单
elasticsearch 创建索引指定索引字段类型，以及指定分区数和副本数
chenzhenguo
12-04 7930
curl - XPUT 'http://192.168.1.181:9200/t_url-2018-12-04/' - d ' {   # 指定url地址  索引名称     "settings": {         "index": {             "number_of_shards": 2, #分区数             "number_of_replicas": 1##副本...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值