ElasticSearch入门

已于 2023-03-02 09:43:50 修改
阅读量1.4k 收藏
点赞数
分类专栏： ES 文章标签： elasticsearch
于 2021-07-27 09:52:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/David_bdqn/article/details/119059583
版权

1.1、ElasticSearch（ES）：

        用Java开发是当前最流行的开源的企业级搜索引擎。实时，稳定，可靠，快速，安装使用方便。

1.2、ES与Lucene的关系

        Lucene被认为是迄今为止最先进、性能最好、功能最全的搜索引擎（框架）。

缺点：

        只能在Java项目使用，且以jar的方式集成

        使用非常复杂

        不支持集群环境

1.3、ES和Solr比较

        对已有数据进行搜索时，Solr更快。当实时建立索引时，Solr会产生io阻塞

        对比：

                Solr利用zookeeper分布式管理，ES自身带有分布式协调管理

                Solr支持格式更多，JSON/XML/CSV; ES仅支持JSON

                Solr传统搜索表现好，ES在实时搜索表现好

1.4、ES vs 关系型数据库

       

 2、Lucene全文检索框架

2.1、全文检索：

        通过一个程序扫描文本中的每一个单词，针对单词建立索引，并保存该单词在文本中的位置、以及出现的次数；用户查询时，通过之前建好的索引来查询，将索引中单词对应的文本位置、出现的次数返回给用户，因为有了具体文本位置，所以就可以将具体内容读取出来了。

2.2、分词原理之倒排索引

         分词（记录单词和位置）---去重（合并整理单词和位置集合）---排序（单词排序）

3、Elasticsearch核心概念

3.1、索引index

        拥有几分相似特征的文档的集合

        一个索引由一个名字来标识

3.2、映射mapping

        用来定义一个文档

3.3、字段Field

        相当于数据表的字段

3.4、字段类型Type

        字段类型：Text、Keyword、Byte等

3.5 、文档document

        类似一条记录，一个可被索引的基础信息单元。文档以JSON格式表示

3.6、集群cluster

        由一个或多个节点组成

3.7、节点node

        集群的一部分，存储数据，参与集群的索引和搜索

4、安装Elasticsearch

        4.1创建用户组、用户、设置sudo权限

# 添加用户组，添加用户，设置密码
groupadd elasticsearch
useradd elastic
passwd elastic
# 切换用户为elastic,创建es目录
mkdir -p /usr/local/es
# 切换用户为root，将elastic用户添加到用户组
usermod -G elasticsearch elastic
chown -R elastic /usr/local/es
# 设置sudo权限
visudo
# 找到root用户权限，添加elastic用户权限
elastic ALL=(ALL)	ALL

        4.2安装配置elasticsearch7.6.1

es安装包地址：

https://download.csdn.net/download/David_bdqn/20268029
# 切换为elastic用户，上传elasticsearch7.6.1安装包，并解压
cd /usr/local/es
# 上传安装包es
tar -zxvf elasticsearch-7.6.1‐linux‐x86_64.tar.gz

配置，对应的discovery.seed_hosts改为自己服务器的ip

# 创建文件夹log,data
cd /usr/local/es/elasticsearch-7.6.1
mkdir {log,data}
# 配置elasticsearch.yml
cd config
rm -rf elasticsearch.yml
vim elasticsearch.yml
# 内容如下
cluster.name: es-yun
node.name: node1
path.data: /usr/local/es/elasticsearch-7.6.1/data
path.logs: /usr/local/es/elasticsearch-7.6.1/log
network.host: 0.0.0.0
http.port: 9200
discovery.seed_hosts: ["172.16.227.201"]
cluster.initial_master_nodes: ["node1"]
bootstrap.system_call_filter: false
bootstrap.memory_lock: false
http.cors.enabled: true
http.cors.allow‐origin: "*"

调整jvm参数,根据服务器配置相应调整，本次设置为1G

vim jvm.options
-Xms1g
-Xmx1g

        4.3修改系统配置

由于现在使用普通用户安装es服务，es服务队服务器的资源要求比较多，包括内存大小、线程数等。所以需要解开资源束缚

                4.3.1文件最大数限制

不改，可能出现错误：

max file descriptors [4096] for elasticsearch process likely too low, increase to at least [65536]

sudo vim /etc/security/limits.conf
# 添加如下内容，包括*
* soft nofile 65536
* hard nofile 131072
* soft nproc 2048
* hard nproc 4096

                 4.3.2普通用户启动线程数限制

不改，可能出现错误：

max file descriptors [4096] for elasticsearch process likely too low, increase to at least [65536]

sudo vim /etc/security/limits.d/20‐nproc.conf
# 原先为1024，改为4096
soft nproc 4096

                 4.3.3普通用户最大虚拟内存

不改，可能出现错误：

max file descriptors [4096] for elasticsearch process likely too low, increase to at least [65536]

sudo vim /etc/sysctl.conf
# 追加以下内容
vm.max_map_count=262144
# 执行下面命令，生效
sudo sysctl -p

       全部修改完毕，退出客户端重新连接xshell生效

        4.4启动ES服务

cd /usr/local/es/elasticsearch-7.6.1
# 启动
nohup bin/elasticsearch 2>&1 &

登录：http://172.16.227.201:9200/?pretty，页面如下

 5、客户端Kibana安装

客户端分为图形界面客户端和代码客户端

ES主流客户端Kibana，开放9200端口与图形界面客户端交互

cd /usr/local/es
# 上传安装包kibana-7.6.1-linux-x86_64.tar.gz,解压
tar -zxvf kibana-7.6.1-linux-x86_64.tar.gz
# 重命名
mv kibana-7.6.1-linux-86_64  kibana-76.1
cd kibana-7.6.1/config
# 修改配置文件
vim kibana.yml
# 内容如下：

server.port: 5601
server.host: "服务器IP"
elasticsearch.hosts: ["http://IP:9200"] #这里是elasticsearch的访问地址

启动：

nohup bin/kibana 2>&1 &

访问：http://172.16.227.201:5601/app/kibana，页面如下

 6、安装IK分词器

后续使用ES来进行中文分词，所以需要单独给ES安装IK分词器

cd /usr/local/es/elasticsearch-7.6.1/plugins
# 创建目录
mkdir ik
# 上传分词器，并解压
unzip elasticsearch-ik-7.6.1.zip
# 重启ES

ES集群搭建，启动三个es节点，访问时只显示一个master。

解决方案：进入节点2、3的elasticsearch-7.6.1/data目录，删除nodes文件，重启2、3节点es即可。

7、基本操作

在kibana控制台console运行

 7.1、创建索引

        PUT /es_db

7.2、查询索引

        GET /es_db

7.3、删除索引

        DELETE /es_db

7.4、添加/修改文档

PUT /es_db/_doc/1
{
  "name":"张三",
  "sex":1,
  "age":25,
  "address":"广州天河公园",
  "remark":"java developer"
}

 7.5、查询文档

        格式：GET /索引名称/类型/id        GET /es_db/_doc/1

7.6、删除 DELETE /es_db/_doc/1

8、查询操作

8.1、查询当前类型中的所有文档 _search

        GET /es_db/_doc/_search

        类似：select * from student

8.2、条件查询，age=28，_search?q=*:***

        GET /es_db/_doc/_search?q=age:28

        类似：select * from student where age = 28

8.3、范围查询，age 在[20,26]之间的，_search?q=***[** TO **]

        GET /es_db/_doc/_search?q=age[20 TO 26]

        类似：select * from student where age between 20 and 26

8.4、多个id批量查，_mget

GET /es_db/_doc/_mget
{
    "ids":["1","2"]
}

         类似：select * from student where id in (1,2)

8.5、小于等于、大于的，<=、> ，_search?q=age:<=26 

        GET /es_db/_doc/_search?q=age:>20

8.6、分页查询        from*&size=*        类似 limit 

        GET /es_db/_doc/_search?q=age:<26&from0&size=10

8.7、对查询结果只输出某些字段，_source=字段，字段

        GET /es_db/_doc/_search?_source=name,age

        类似：select name,age from student

8.8、对查询结果排序，sort=字段:desc/asc

        GET /es_db/_doc/_search?sort=age:desc

        类似：select * from student order by age desc

索引重命名

POST _reindex
{
  "source": {
    "index": "old_name"
  },
  "dest": {
    "index": "new_name"
  }
}

daidavid_csdn
关注
专栏目录
es入门操作-elasticsearch入门操作
12-27
"Elasticsearch 入门操作" Elasticsearch 是一个基于 Lucene 库的搜索引擎，提供了一个分布式、支持多用户的全文搜索引擎，具有 HTTP Web 接口和无模式 JSON 文档。所有其他语言可以使用 RESTful API 通过端口 9200...
【Linux 切换 ES（elasticsearch）用户】
可乐的博客
08-18 1903
Linux 的 elasticsearch 切换root用户
linux安装elasticSearch：权限问题
wq123123423432的博客
05-22 803
1 启动es要使用非root用户， adduser user 2 创建非root用户后需要设置权限 chown -R user /xxx/xxx/xxx/elasticsearch-7.12.1 3 切换用户启动es su user ./elasticsearch.sh
ElasticSearch安装与介绍
生夏夏的博客
06-13 1379
如果你没有听说过Elastic Stack，那你一定听说过ELK，实际上ELK是三款软件的简称，分别是Elasticsearch、Logstash、Kibana组成，在发展的过程中，又有新成员Beats的加入，所以就形成了Elastic Stack。所以说，ELK是旧的称呼，Elastic Stack是新的名字。官网ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。
ElasticSearch部署
JavaScript入门
01-06 384
ElasticSearch部署 1、创建普通用户（已有非root用户，可略过），elasticsearch5.0开始不允许root用户启动 # root下创建elastic用户组和elastic用户，并将elastic用户添加到elastic用户组中 groupadd elastic useradd elastic -g elastic 2、解压缩 tar zxvf elasticsearch-7.9.3-linux-x86_64.tar.gz 3、elasticsearch7.0开始需要jdk11，e
elasticsearch修改启动用户的UID、GID
江晓龙的博客
12-05 6114
qqq
ElasticSearch入门.pdf
05-25
Elaticsearch，简称为es， es是一个开源的高扩展的分布式全文检索引擎，它可以近乎实时的存储、检索数据；本身扩展性很好，可以扩展到上百台服务器，处理PB级别的数据。es也使用Java开发并使用Lucene作为其核心来...
ElasticSearch入门到精通（基于ELK技术栈ElasticSearch7.8.版本）.rar
05-20
**Elasticsearch 入门到精通** Elasticsearch 是一个高度可扩展的开源全文搜索引擎，设计用于处理大量数据，提供实时分析和搜索功能。它基于 Lucene 库，但提供了更高级别的分布式、RESTful 风格的搜索和数据分析...
《ElasticSearch入门到实战》电子书，从入门到进阶实战项目的教程文档，框架SpringBoot框架整合ES.zip
02-28
**Elasticsearch 入门与实战** Elasticsearch 是一个基于 Lucene 的开源全文搜索引擎，以其分布式、可扩展性、实时搜索以及强大的数据分析能力而受到广泛欢迎。它不仅支持文本搜索，还可以处理结构化和非结构化数据...
Elasticsearch入门学习笔记
06-28
这篇入门学习笔记将引导初学者了解如何安装、配置以及使用Elasticsearch。 首先，让我们从安装开始。要安装Elasticsearch，你可以访问官方网站（https://www.elastic.co/cn/downloads/elasticsearch）下载最新版本...
ELK-elasticsearch设置用户、添加新用户、以及对应密码修改
shinexunmeng的博客
08-09 8292
ELK-elasticsearch设置用户、添加新用户、以及对应密码修改
elasticsearch启停shell脚本
renzhongrui的博客
05-05 1113
#!/bin/bash ES_HOME=/home/elk/elasticsearch-7.3.2 APP_NAME=elasticsearch echo "开始启停elasticsearch" # 使用方式 usage() { echo "case:sh run.sh [start | stop | restart | status]" echo "请类似这样执行 ./*.sh start...
es普通账号启动
最新发布
weixin_43695820的博客
04-20 331
es的宿主是root账号，需要切换es的宿主机，用root账号切换。1 不能以root管理员账号启动，需要用普通账号启动。解决：创建普通账号，切换到普通账号之后启动即可。2 普通账号启动报错。
ES高可用及集群管理
Soda_lw的博客
07-18 1319
ES高可用及集群管理 Elasticsearch 是一个分布式、高扩展、高实时、RESTful 风格的搜索与数据分析引擎。 服务可用性：允许有节点停止服务 数据可用性：部分节点丢失，不会丢失数据 水平扩展 集群容错 一、分片 1、什么是分片及其作用 节点：一个运行中的ES实例成为一个节点； 集群:由一个或者多个拥有相同cluster.name配置的节点组成； 分片：分片(shard)是一个最小级别“工作单元(worker unit)”，它只是保存了索引中所有数据的一部分。 ​ 一个索引可以存储
ES集群搭建
lpx1249115962的博客
03-05 1363
*
ElasticSearch Root身份运行
热门推荐
lahand的博客
01-02 4万+
如果以root身份运行将会出现以下问题，这个错误，是因为使用root用户启动elasticsearch，elasticsearch是不允许使用root用户启动的 [root@iZbp1epx1ncetamddfjnxwZ bin]# ./elasticsearch [2018-01-02T17:42:42,296][WARN ][o.e.b.ElasticsearchUncaughtExc
elasticsearch启动加一些linux切换用户的命令
ShiningDays的博客
11-07 763
启动并可输出日志：./elasticsearch 后台启动：./elasticsearch -d system-auth文件不可改动否则会造成su命令出问题，找不到模块。 直接进入root可以使用：ssh root@服务器ip地址或者 su - root 直接进入某个用户：ssh 用户名@服务器ip地址或者 su - 用户名 ...
elasticsearch不能以root运行的问题
有梦想的蜗牛
11-30 3万+
当我们在使用elasticsearch的时候，如果是以root权限来执行elasticsearch./elasticsearch则会有以下报错Exception in thread "main" java.lang.RuntimeException: don't run elasticsearch as root. at org.elasticsearch.bootstrap.Bootstrap.i
springCloud集成ELK日志
qq_34815027的博客
05-27 1309
需求描述： 在单体服务中我们需要查看日志只需直接在日志文件中 grep、awk 就可以获得自己想要的信息。 但是在微服务架构中，不同的服务模块一般会部署多个节点，日志散落在多个节点的日志文件中。一旦出现问题，我们就需要登录不同的服务节点分别查看日志，非常之繁琐。所以在微服务架构中，我们是需要建立集中式日志收集系统，将所有节点上的日志统一收集，管理，访问。 现在目前主流的分布式日志解决方案还是基于ELK（ElasticSearch、Logstash、Kibana），今天我们就动手搭建一个单机版的ELK日
elasticsearch入门
06-07
以下是ElasticSearch的入门指南： 1. 安装ElasticSearch：你可以从ElasticSearch官网下载并安装ElasticSearch。根据你的操作系统选择相应的版本。 2. 启动ElasticSearch：启动ElasticSearch非常简单。只需在终端中...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值