ElasticSearch入门

最新推荐文章于 2023-05-20 23:34:27 发布
最新推荐文章于 2023-05-20 23:34:27 发布
阅读量198 收藏
点赞数
文章标签： elasticsearch es java 搜索引擎
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xintu1314/article/details/111227357
版权

什么是ElasticSearch？

*独立的网络上的一个或一组进程节点
*对外提供搜索服务（http或transport协议）
*对内就是一个搜索数据库

  • 基于Apache Lucene构建的开源搜素引擎；
  • 采用java编写，提供简单易用的RESTFul API；
  • 轻松的横向扩展，可支持PB级的结构化或非结构化数据处理；

在这里插入图片描述

应用场景？

  • 海量数据分析引擎；

  • 站内搜索引擎；

  • 数据仓库；

  • 英国卫报-实时分析公众对文章的回应

  • 维基百科、GitHub-站内实时搜索

  • 百度-实时日志监控平台

安装

Windows下参考https://blog.csdn.net/yx1214442120/article/details/55102298

基础概念

  • 索引：含有相同属性的文档合集
  • 类型：索引可以定义一个或多个类型，文档必须属于一个类型
  • 文档：文档是可以被索引的基本数据单位
  • 分片：每个索引都有多个分片，每个分片是一个Lucene索引
  • 备份：拷贝一份分片就完成了分片的备份

索引：1、搜索中数据库或表定义
2、构建文档时候的索引创建

分词：1、搜索是以词为单位做最基本的搜索单元
2、依靠分词器构建分词
3、用分词构建倒排索引

搜索过程
在这里插入图片描述

搜索的本质和原理

比如我们一个Chinese，同时命中两个word，那么怎么判断哪一个优先级更高

TF-IDF打分
  • TF：词频 这个document文档包含了多少个这个词，包含越多表明越相关
  • DF：文档频率 包含该词的文档总数目
  • IDF：DF取反
    在这里插入图片描述
    意味着分出十个词，，谷歌在5个文档中出现了，倒排列表表示在文档ID1出现了一次，出现的位置是1
    所以它的打分是TF/IDF第一个1/5，第二个1/5 ，第三个2/5

分布式索引原理

  • number_of_shards:定义索引主分片数量，用于响应写操作（也可响应读）
  • number_of_replicas:定义索引备份分片数量，用于响应读操作
  • 分布式索引依据分片配置均匀的响应用户请求
  • 通过paxos方式从具备竞争主节点能力的机器中竞选主节点后，所有写请求都要通过主节点
  • 读请求可不经过主节点，直接发生在从节点上，若对应节点无分片则路由到对应有分片的节点中。

ES的安装

www.elastic.co
进入官网

点击这里下载两个

点击es中bin文件的.bat，直接启动在这里插入图片描述
在这里插入图片描述
同理点击kibana的.bat文件启动

使用

两个应用启动之后，登陆localhost:5601
如下图所示，可以创建索引
在这里插入图片描述
在这里插入图片描述
但我们发现节点是yellow
因为我们简单创建时，默认指定主分片，从分片；主从分片都在一个节点上面

假如我们改成
PUT /test
{
“settings”: {
“number_of_shards”: 1,
“number_of_replicas”: 0
}

}
则变成green，但扩展性会变差

分布式原理

1、分片
（默认1）
2、主从
3、路由
需要知道主分片，从分片分别在哪里

假如添加节点进集群
在这里插入图片描述
则会使用负载均衡

在这里插入图片描述
在这里插入图片描述
重新竞选master
在这里插入图片描述
在这里插入图片描述

集群搭建

复制两个
然后注意因为刚才练习的时候已经建立过索引，所以把data文件夹下的node删除；
然后改.yml配置

node-1

# ======================== Elasticsearch Configuration =========================
#
# NOTE: Elasticsearch comes with reasonable defaults for most settings.
#       Before you set out to tweak and tune the configuration, make sure you
#       understand what are you trying to accomplish and the consequences.
#
# The primary way of configuring a node is via this file. This template lists
# the most important settings you may want to configure for a production cluster.
#
# Please consult the documentation for further information on configuration options:
# https://www.elastic.co/guide/en/elasticsearch/reference/index.html
#
# ---------------------------------- Cluster -----------------------------------
#
# Use a descriptive name for your cluster:
#
cluster.name: dianping-app
#
# ------------------------------------ Node ------------------------------------
#
# Use a descriptive name for the node:
#
node.name: node-1
#
# Add custom attributes to the node:
#
#node.attr.rack: r1
#
# ----------------------------------- Paths ------------------------------------
#
# Path to directory where to store the data (separate multiple locations by comma):
#
#path.data: /path/to/data
#
# Path to log files:
#
#path.logs: /path/to/logs
#
# ----------------------------------- Memory -----------------------------------
#
# Lock the memory on startup:
#
#bootstrap.memory_lock: true
#
# Make sure that the heap size is set to about half the memory available
# on the system and that the owner of the process is allowed to use this
# limit.
#
# Elasticsearch performs poorly when the system is swapping the memory.
#
# ---------------------------------- Network -----------------------------------
#
# Set the bind address to a specific IP (IPv4 or IPv6):
#
network.host: 127.0.0.1
#
# Set a custom port for HTTP:
#
http.port: 9200

transport.tcp.port: 9300

http.cors.enabled: true

http.cors.allow-origin: "*"
#
# For more information, consult the network module documentation.
#
# --------------------------------- Discovery ----------------------------------
#
# Pass an initial list of hosts to perform discovery when this node is started:
# The default list of hosts is ["127.0.0.1", "[::1]"]
#
discovery.seed_hosts: ["127.0.0.1:9300", "127.0.0.1:9301","127.0.0.1:9302"]
#
# Bootstrap the cluster using an initial set of master-eligible nodes:
#
cluster.initial_master_nodes: ["127.0.0.1:9300", "127.0.0.1:9301","127.0.0.1:9302"]
#
# For more information, consult the discovery and cluster formation module documentation.
#
# ---------------------------------- Gateway -----------------------------------
#
# Block initial recovery after a full cluster restart until N nodes are started:
#
#gateway.recover_after_nodes: 3
#
# For more information, consult the gateway module documentation.
#
# ---------------------------------- Various -----------------------------------
#
# Require explicit names when deleting indices:
#
#action.destructive_requires_name: true

node-2

# ======================== Elasticsearch Configuration =========================
#
# NOTE: Elasticsearch comes with reasonable defaults for most settings.
#       Before you set out to tweak and tune the configuration, make sure you
#       understand what are you trying to accomplish and the consequences.
#
# The primary way of configuring a node is via this file. This template lists
# the most important settings you may want to configure for a production cluster.
#
# Please consult the documentation for further information on configuration options:
# https://www.elastic.co/guide/en/elasticsearch/reference/index.html
#
# ---------------------------------- Cluster -----------------------------------
#
# Use a descriptive name for your cluster:
#
cluster.name: dianping-app
#
# ------------------------------------ Node ------------------------------------
#
# Use a descriptive name for the node:
#
node.name: node-3
#
# Add custom attributes to the node:
#
#node.attr.rack: r1
#
# ----------------------------------- Paths ------------------------------------
#
# Path to directory where to store the data (separate multiple locations by comma):
#
#path.data: /path/to/data
#
# Path to log files:
#
#path.logs: /path/to/logs
#
# ----------------------------------- Memory -----------------------------------
#
# Lock the memory on startup:
#
#bootstrap.memory_lock: true
#
# Make sure that the heap size is set to about half the memory available
# on the system and that the owner of the process is allowed to use this
# limit.
#
# Elasticsearch performs poorly when the system is swapping the memory.
#
# ---------------------------------- Network -----------------------------------
#
# Set the bind address to a specific IP (IPv4 or IPv6):
#
network.host: 127.0.0.1
#
# Set a custom port for HTTP:
#
http.port: 9202

transport.tcp.port: 9302

http.cors.enabled: true

http.cors.allow-origin: "*"
#
# For more information, consult the network module documentation.
#
# --------------------------------- Discovery ----------------------------------
#
# Pass an initial list of hosts to perform discovery when this node is started:
# The default list of hosts is ["127.0.0.1", "[::1]"]
#
discovery.seed_hosts: ["127.0.0.1:9300", "127.0.0.1:9301","127.0.0.1:9302"]
#
# Bootstrap the cluster using an initial set of master-eligible nodes:
#
cluster.initial_master_nodes: ["127.0.0.1:9300", "127.0.0.1:9301","127.0.0.1:9302"]
#
# For more information, consult the discovery and cluster formation module documentation.
#
# ---------------------------------- Gateway -----------------------------------
#
# Block initial recovery after a full cluster restart until N nodes are started:
#
#gateway.recover_after_nodes: 3
#
# For more information, consult the gateway module documentation.
#
# ---------------------------------- Various -----------------------------------
#
# Require explicit names when deleting indices:
#
#action.destructive_requires_name: true

node-3同理
在这里插入图片描述
建立完集群后，此时再到kibana创建，此时显示green在这里插入图片描述

基础语法

新建索引
1、结构化索引在这里插入图片描述
2、非结构化索引

DELETE employee

PUT /employee
{
“settings”: {
“number_of_shards”: 1,
“number_of_replicas”: 1
}

}

PUT /employee/_doc/1
{
“name”:“xintu”,
“age”:30
}
在这里插入图片描述
更新的时候直接在字段上更改，然后再运行

3、强制指定创建

强制指定创建，若已存在，则失败
在这里插入图片描述

获取索引

在这里插入图片描述

1、查询全部文档

GET /employee/_search

2、不带条件查询所有记录

GET /employee/_search
{
“query”:{
“match_all”:{}
}
}

3、分页查询

GET /employee/_search
{
“query”:{
“match_all”:{}
},
“from”:0,
“size”:1
}

4、带关键字条件的查询

//带关键字条件的查询
GET /employee/_search
{
“query”: {
“match”: {“name”:“兄弟”}
}
}
此时可以搜索出来
如果把兄弟改成兄/兄长等，均可以出来

5、带排序查询

//带排序
GET /employee/_search
{
“query”: {
“match”: {“name”:“兄”}
},
“sort”: [
{
“age”: {
“order”: “desc”
}
}
]
}//年龄倒序

6、带filter的查询

GET /employee/_search
{
“query”: {
“bool”: {
“filter”: [
{“term”: {
“age”: “30”
}}
]
}
}
}//查询年龄为30的
filter不会打分

7、带聚合查询

//带聚合
GET /employee/_search
{
“query”: {
“match”: {“name”:“兄”}
},
“sort”: [
{
“age”: {
“order”: “desc”
}
}
],
“aggs”: {
“group_by_age”: {
“terms”: {
“field”: “age”
}
}
}
}
像这个就是查每个年龄段符合的结果有几个
“aggregations” : {
“group_by_age” : {
“doc_count_error_upper_bound” : 0,
“sum_other_doc_count” : 0,
“buckets” : [
{
“key” : 30,
“doc_count” : 2
}
]
}
}

修改索引
1/指定字段修改

//指定字段修改
POST /employee/_update/1
{
“doc”:{
“name”:“凯杰4”
}
}

直接修改
信徒favor
关注
elasticsearch中的基础概念
u014265398的博客
07-28 129
集群和节点 一个集群由多个节点组成，所有的节点都是通过集群的名称加入集群的，节点可以存储数据，参与集群索引数据及搜索数据的独立服务。 索引 *:含有相同属性的文档集合 类型 索引可以定义一个或多个类型，文档必须属于一个类型 文档 文档是可以被索引的基本数据单位 分片 每个索引都有多个分片，每个分片是一个Lucene索引 备份 拷贝一份分片就完成了分片的备份 ...
elasticsearch的基础概念
07-31 1509
集群和节点的关系，集群是有多个节点组成的，他们通过集群的名字进行关联。 索引：含有相同属性的文档的集合，索引是通过名字来识别的，且英文字母小写组成，不含中划线，相当于数据库的database（数据库）。 类型：索引中指定的类型可以有一个或者多个，通常我们会定义有相同字段的文档为一个类型，文档必须属于一个类型相当于table，数据库中的表。 文档：文档是可以被索引的基本数据单位，相当于数据库中...
ElasticSearch 学习1——基础概念、索引操作
耶律妙月的博客
01-21 468
文章目录1、核心概念2、常用字段类型2.1 text2.2 keyword2.3 数字类型2.4 boolean2.5 范围类型2.6 日期类型2.7 其他3、索引操作3.1 新建索引3.2 更新索引3.3 查看索引信息3.4 删除索引3.5 索引复制3.6 索引别名3.7 测试分词器4、文档增删操作4.1 插入文档4.2 删除文档4.3 获取文档4.4 更新文档 1、核心概念 1.1 集群（Cluster） 一个集群有一个名字，这个名字是集群的唯一标识，该名字成为 cluster name，默认的集
ES查询知识小结
weixin_45442529的博客
05-20 9760
es的查询语法学习
es 条件查询
xiaoguaihu12的博客
11-02 2019
Springboot整合es时,使用 : QueryBuilder 对象 设置查询条件 单个(必须)完全匹配 : //不分词查询 参数1： 字段名，参数2：字段查询值，因为不分词，所以汉字只能查询一个字，英语是一个单词. QueryBuilder queryBuilder=QueryBuilders.termQuery("fieldName", "fieldlValue"); //分词查询，采...
es入门操作-elasticsearch入门操作
12-27
"Elasticsearch 入门操作" Elasticsearch 是一个基于 Lucene 库的搜索引擎，提供了一个分布式、支持多用户的全文搜索引擎，具有 HTTP Web 接口和无模式 JSON 文档。所有其他语言可以使用 RESTful API 通过端口 9200...
《ElasticSearch入门到实战》电子书，从入门到进阶实战项目的教程文档，框架SpringBoot框架整合ES.zip
最新发布
02-28
**Elasticsearch 入门与实战** Elasticsearch 是一个基于 Lucene 的开源全文搜索引擎，以其分布式、可扩展性、实时搜索以及强大的数据分析能力而受到广泛欢迎。它不仅支持文本搜索，还可以处理结构化和非结构化数据...
ElasticSearch入门到精通（基于ELK技术栈ElasticSearch7.8.版本）.rar
05-20
**Elasticsearch 入门到精通** Elasticsearch 是一个高度可扩展的开源全文搜索引擎，设计用于处理大量数据，提供实时分析和搜索功能。它基于 Lucene 库，但提供了更高级别的分布式、RESTful 风格的搜索和数据分析...
ElasticSearch入门.pdf
05-25
Elaticsearch，简称为es， es是一个开源的高扩展的分布式全文检索引擎，它可以近乎实时的存储、检索数据；本身扩展性很好，可以扩展到上百台服务器，处理PB级别的数据。es也使用Java开发并使用Lucene作为其核心来...
es 查询含有filter过滤查询和不含有filter查询
sxf_123456的博客
03-08 7447
GET gather-033_112000/_search{  "size": 0,  "query": {    "range": {      "memrate": {        "gte": 0,        "lte": 100      }    }  }}GET gather-033_112000/_search{  "size": 0,  &quot
使用ES做简单的时间条件过滤+模糊查询+精确匹配+关键字排除
热门推荐
mtj66的博客，交流WX:SpringBreeze1104
02-08 3万+
相关说明 在复合查询中填写 0.0 ES地址 : http://user:password@elasticsearch.gz.baidubce.com:8999/cluster_id/ 0.1 搜索的日志索引 : prod-logs/_search 0.2 请求方式 : POST 1. 查询出包含 log_geo 的数据 “wildcard”:...
ES之多条件、范围查询
愤怒的豌豆炮的博客
12-22 2万+
ES之多条件、范围查询 一、多条件查询 1.条件“且”，即查询"title"为"test6"，且"num"为5的数据 【GET】请求：http://127.0.0.1:9200/test-index-1/_search，参数如下 { "query":{ "bool":{ "must":[ { "match":{ "title": "test6
linux主机又又中木马了
02-21 1327
一 背景早上就收到朋友的短信,提示阿里云机器有病毒执行,一般病毒木马执行喜欢用 crontab,所以先看看 crontab 的内容:foruin`cat/etc/passwd|...
记录一次杀毒过程
CheerTan is here
09-07 654
linux防护
ElasticSearch基本原理
刘阳的博客
09-09 4901
一.ES基本概念介绍 1.ES简介 ES是一个分布式、可扩展的、近实时的数据搜索、分析与存储引擎。支持全文搜索、结构化搜索、半结构化搜索、数据分析、地理位置和对象间关联关系搜索等功能。其底层基于Lucene，但Lucene比较复杂，面向普通应用开发者而言，易用性不是很好，同时对于目前的主流分布式架构支持也不好，所以就诞生了ES。ES使用Java编写，它的内部使用Lucene做索引与搜索，隐藏了Lucene的复杂性，面向开发者暴露了一套即使是不同编程语言也基本一致的API和client，方便大家将搜索功能
Elasticsearch的这几个概念你还不知道啥意思呢？
【原】编程界的小学生
05-23 358
编程界的小学生一、node1、核心概念2、node种类二、shard1、啥意思2、种类3、Primary Shard4、Replica Shard5、Shard的个数设定6、shard自动负载均衡6.1、概念6.2、画图说明三、index四、type五、document六、field七、mapping八、DSL语句九、贯穿全文的总结 一、node 1、核心概念 节点。一个ES实例就是一个node，本质上就是一个Java进程，但并不是说一台机器就是一个node，因为一台机器可以运行多个ES实例，也就是多个J
elasticsearch入门
06-07
以下是ElasticSearch的入门指南： 1. 安装ElasticSearch：你可以从ElasticSearch官网下载并安装ElasticSearch。根据你的操作系统选择相应的版本。 2. 启动ElasticSearch：启动ElasticSearch非常简单。只需在终端中...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值