elasticsearch笔记

最新推荐文章于 2023-03-11 11:58:42 发布
最新推荐文章于 2023-03-11 11:58:42 发布
阅读量376 收藏
点赞数
分类专栏： 数据库 文章标签： es elasticsearch 信息检索
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43290002/article/details/107451348
版权

elasticsearch笔记

elasticsearch笔记

由于项目上要用到elasticsearch，发现很久都没有亲手部署过elasticsearch了，部署之后发现一些问题，所以写此博客记录。顺便回顾es的一些知识点。

elasticearch概述

elaticsearch，简称为es， es是一个开源的高扩展的分布式全文检索引擎，它可以近乎实时的存储、检索数据；本身扩展性很好，可以扩展到上百台服务器，处理PB级别（大数据时代）的数据。es也使用Java开发并使用Lucene作为其核心来实现所有索引和搜索的功能，但是它的目的是通过简单RESTfulAPI来隐藏Lucene的复杂性，从而让全文搜索变得简单。

简单的说elasticsearch是一个基于Lucene的近实时分布式搜索和分析引擎。

什么是Lucene

Lucene是用JAVA写成的，目标是为各种中小型应用软件加入全文检索功能的搜索引擎库(jar包)。

Lucene的缺点

1、不支持分布式，多台服务器要通过代码合并搜索结果，不友好，开发复杂。
2、 无法实现HA，服务器挂了数据就丢了。

elasticearch和Solr的区别

说到es就不得不提到solr ，因为solr也是一个基于Lucene
的全文搜索服务器。具体的介绍就不多说，想要详细了解的可自行搜索，这里只做比较。
1、solr 查询快，但更新索引时慢（即插入删除慢），用于电商等查询多的应用；
2、es建立索引快（即查询慢），即实时性查询快，用于facebook新浪等搜索；
3、es安装简洁（开箱即用），solr相对复杂；
4、es自身带有分布式协调管理功能，solr是基于zookeeper进行分布式管理；
5、es仅仅支持json格式数据，而solr支持多种数据格式：json、XML、CSV；

elasticsearch应用范围

1、搜索类网站，如维基百科、百度百科
2、电商网站检索商品
3、数据分析和挖掘领域，比如用户群体分析、营收增长等
4、ELK技术(elasticsearch+logstash+kibana)

ES特点及优势

1、可以作为大型的分布式集群，处理PB级的数据，也可以单机运行。
2、开箱即用非常简单，隐藏了Lucene的复杂性。
3、弥补数据库的不足(事务，联机型事物操作)，可以进行全文检索，同义词处理，相关度排名，复杂数据分析等。
4、API更简单，更高级。
5、支持多种语言。
6、支持PB级数据。
7、完成搜索和分析功能。

elasticsearch核心概念

Index（索引）
类似于我们Mysql里面的一个数据库 ，好比就是一个索引库。
Type（类型-表）
ES6以后一个index只能有一个type，为了提高查询效率。
Document（文档-行）
文档就是最终的数据了，可以认为一个文档就是一条记录。
是ES里面最小的数据单元，就好比表里面的一条数据。
Field（字段-列）
好比关系型数据库中列的概念，一个document有一个或者多个field组成。
mapping（映射-约束）
数据如何存放到索引对象上，需要有一个映射配置，包括：数据类型、是否存储、是否分词等。
Shard（分片）
当有大量的文档时，由于内存的限制、磁盘处理能力不足、无法足够快的响应客户端的请求等，一个节点可能不够。这种情况下，数据可以分为较小的分片。每个分片放到不同的服务器上。
当你查询的索引分布在多个分片上时，ES会把查询发送给每个相关的分片，并将结果组合在一起，而应用程序并不知道分片的存在。即：这个过程对用户来说是透明的。
Replia（副本）
为提高查询吞吐量或实现高可用性，可以使用分片副本。
副本是一个分片的精确复制，每个分片可以有零个或多个副本。ES中可以有许多相同的分片，其中之一被选择更改索引操作，这种特殊的分片称为主分片。
当主分片丢失时，如：该分片所在的数据不可用时，集群将副本提升为新的主分片。

全文检索

将一篇文章切分为一个个的词或字，分别创建索引，分别之名在这个词中出现的次数和位置，当用户查找时，即通过事先建立的索引进行查找。

倒排索引

就是根据内容查ID，然后再通过ID查询出需要的内容。

elasticsearch安装部署

jdk版本：jdk11
es版本：7.6.1
elasticsearch下载地址：https://www.elastic.co/cn/downloads/elasticsearch
在这里插入图片描述

注意：es版本和jdk版本有对应关系，并且在java开发中，elasticSearch 的版本和 Java 的核心jar包的版本也要对应。下面是es和jdk的版本对应关系图。
在这里插入图片描述

1、windows版本安装

1、es是开箱即用，所以解压就可以使用。
在这里插入图片描述

2、在安装目录的bin目录下双击elasticsearch.bat启动es：
在这里插入图片描述

如图所示 9200 是es基于http的外部通讯端口，started表示启动成功。
在这里插入图片描述

打开浏览器进行访问测试：
在这里插入图片描述

3、安装可视化界面插件elasticsearch-head：

  • 首先需要安装node环境

node下载地址：http://nodejs.cn/download/
下载Windows版msi，傻瓜式安装，一直点next即可：
在这里插入图片描述
检验：cmd进入DOS，输入 node -v 命令，返回的是node.js的版本，说明安装成功。
在这里插入图片描述

  • 安装grunt
    grunt是一个很方便的构建工具，可以进行打包压缩、测试、执行等等的工作，es-head就是通过grunt启动的。
    输入命令安装：
    npm install -g grunt-cli
    查看版本号 grunt -version
    在这里插入图片描述
  • 安装elasticsearch-head:
    下载地址：https://github.com/mobz/elasticsearch-head/
    解压，进入head文件夹下，执行命令：npm install

如果安装速度慢,设置成淘宝的镜像重新安装 npm config set registry https://registry.npm.taobao.org

  • 启动es-head :输入npm run start或grunt server命令
    在这里插入图片描述

  • 安装完成之后，修改es路径下的elasticsearch.yml文件

增加新的参数
http.cors.enabled: true http.cors.allow-origin: "*"
在这里插入图片描述在这里插入图片描述

  • 启动 / 重启 elasticsearch

在这里插入图片描述

2、linux版本安装

  • 官网下载linux对应的安装包，同上。

  • 将安装包上传到虚拟机，解压。
    tar -xvf elasticsearch-7.6.1-linux-x86_64.tar.gz

  • 将解压后的文件放到/opt/software/下
    mv elasticsearch-7.6.1 /opt/software/

  • 修改配置文件elasticearch.yml
    vim /opt/software/elasticsearch-7.6.1/config/elasticearch.yml
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

  • 修改jvm.options
    vim /opt/software/elasticsearch-7.6.1/config/jvm.options

在这里插入图片描述

  • 修改limits.conf
    vim /etc/security/limits.conf
    在这里插入图片描述
  • 在 /etc/sysctl.conf 中增加
    vm.max_map_count=262145
    在这里插入图片描述
  • 后台运行elasticsearch
    ./elasticsearch -d
    在这里插入图片描述
Damocles.
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Elasticearch简介及安装
游戈 的博客
12-12 343
Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java语言开发的，并作为Apache许可条款下的开放源码发布，是一种流行的企业级搜索引擎。Elasticsearch用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。官方客户端在Java、.NET（C#）、PHP、Python、Apache Groovy、Ruby和许多其他语言中都是可用的。根据DB-Engines的排名显示，
ElasticSearch简单使用
热门推荐
Token
03-13 1万+
ElasticSearch简单使用 首先我们谈几个公司，如雷贯耳的：百度、谷歌、维基百科；这些公司都有一个相似性就是门户网站，可以提供我们通过关键字搜索，然后快速的检索出我们想要的信息； 【网页百度展示】 比如我们检索传智播客，百度后台就会按照这个关键字进行查找（里面有搜索库，以及爬虫库），然后按照权重来进行从上打下的排序，给我们高亮的展示出现 【京东或者淘宝展示】 随便搜索东西，就会高...
ElasticSearch基本原理及应用
长沙老码农
01-29 2000
目录 1、ElasticSearch简介 2、ElasticSearch安装与启动 2.1 安装JDK(自行安装) 2.2 安装启动elasticsearch 2.3 安装ES的图形化界面插件 2.4 安装IK分词器 3、ElasticSearch相关术语 3.1 ElasticSearch与关系型数据库的对比 3.2 Elasticsearch核心概念 4、ElasticSearch的客户端操作 4.1 使用Postman工具进行Restfu接口访问 4.2 使用Kibana.
ElasticSearch（1）
qq_31957463的博客
04-23 2903
ElasticSearch7.8.0-window版本 1、下载与安装 现在地址：Index of elasticsearch-local，下载的是window的压缩包版本。 启动之后ES会有两个端口号分别是9300（ES集群间组件通信的端口号）和9200（浏览器访问的端口号），浏览器访问结果如下： 出现代表启动成功。同时需要注意的是：ES7.8版本需要JDK1.8以上。 2、倒排索引 倒排索引和正排索引： 倒排索引（反向索引）：通过value查询key 正排索...
Elasticsearch 5.4新闻搜索项目实战视频教程
08-13
Elasticsearch 5.4新闻搜索项目实战视频教程：本课程基于Java开发，通过项目案例的方式讲解Elasticsearch分布式搜索引擎（Elasticsearch索引）中的核心技术，ES的版本为5.4，学员学习本课程以后可以初级实现类似百度新闻搜索项目。ElasticSearch是一个基于Lucene的分布式搜索引擎，适合做大数据搜索和大数据分析，百度、腾讯、360、斗鱼、快手、饿了么等诸多一线互联网公司都在使用Elasticsearch。1.课程提供完整课件和源代码。
Linux安装启动elasticsearch6.2.4
dxjren的博客
06-12 915
一、安装 1、ES首先需要一个jdk8环境，jdk8的安装配置可参考如下链接： https://blog.csdn.net/dxjren/article/details/87828608 2、创建一个新用户 作用：ES的启动，需要非root用户才能启动。 创建一个用户：useradd -d /home/dxjren -m dxjren 3...
ElasticSearch笔记
11-20
ElasticSearch，简称为ES，是一个开源的、高度可扩展的分布式全文检索引擎。它基于 Java 开发，并利用 Lucene 作为其核心，实现了高效索引和搜索功能。ElasticSearch 通过Resultful API简化了与Lucene的交互，隐藏了...
(狂神)ElasticSearch快速入门笔记，ElasticSearch基本操作以及爬虫(Java-ES仿京东实战)
04-18
(狂神)ElasticSearch快速入门笔记，ElasticSearch基本操作以及爬虫(Java-ES仿京东实战),包含了小狂神讲的东西，特别适合新手学习，笔记保存下来可以多看看。好记性不如烂笔头哦~，ElasticSearch，简称es，es是一个...
Elasticsearch笔记
06-20
Elasticsearch 笔记 - RESTful API 设计 Elasticsearch 是一个基于 Lucene 的搜索引擎，它提供了一个 RESTful API 来实现数据的索引、搜索和管理。RESTful API 是一种架构风格，设计理念是把每个资源看作是一个网络...
Elasticsearch分布式搜索引擎
Student111w的博客
02-13 247
ElasticSearch简介 Elaticsearch，简称为es， es是一个开源的高扩展的分布式全文检索引擎，它可以近乎实时的存储、检索数据；本身扩展性很好，可以扩展到上百台服务器，处理PB级别的数据。es也使用Java开发并使用Lucene作为其核心来实现所有索引和搜索的功能，但是它的目的是通过简单的RESTful API来隐藏Lucene的复杂性，从而让全文搜索变得简单。 ElasticSearch安装与启动 ElasticSearch的官方地址点击这里 安装ES服务 Window版的Elasti
Elaticsearch基本使用
龙源IT 的博客
03-13 2725
Elaticsearch，简称为es， 是一个建立在全文搜索引擎框架 Apache Lucene™ 基础上的开源搜索引擎，它可以近乎实时的存储、检索数据；本身扩展性很好，可以扩展到上百台服务器，处理PB级别的数据。同时Elasticsearch 是使用 Java 编写的，采用了 Lucene 来实现索引与搜索的功能。当你使用它做全文搜索时，只需要使用简单流畅的 RESTful API即可
Elasticsearch－基础介绍及索引原理分析
baogui8961的博客
08-27 3293
介绍 Elasticsearch 是一个分布式可扩展的实时搜索和分析引擎,一个建立在全文搜索引擎 Apache Lucene(TM) 基础上的搜索引擎.当然 Elasticsearch 并不仅仅是 Lucene 那么简单，它不仅包括了全文搜索功能，还可以进行以下工作: 分布式实时文件存储，并将每一个字段都编入索引，使其可以被搜索。 实时分析的分布式搜索引擎。 可以扩展到上百台服务器，处理PB级别...
Elasticsearch7.9集群部署，head插件，canal同步mysql数据到es，亲自测试，无坑
fengge55的博客
01-20 2419
Elasticsearch集群部署 1、服务器规划 10.4.7.11 node1 10.4.7.12 node2 10.4.7.13 node3 #三台都要执行初始化配置 [root@localhost ~]# vim /etc/sysctl.conf vm.max_map_count=655360 net.ipv4.tcp_syncookies=1 net.ipv4.tcp_tw_reuse=1 net.ipv4.tcp_tw_recycle=1 net.ipv4.tcp_fin_timeout=.
下载安装ES的插件head、grunt并成功启动(Windows10)
qq_38135191的博客
03-07 1424
一、下载head 地址为： https://github.com/mobz/elasticsearch-head/archive/master.zip elasticsearch-head-master.zip.zip 解压到与ES同级目录的盘符，然后进入master目录的命令窗口： 命令窗口： 安装grunt。（由于之前搭建过node.js的环境，也验证了npm的可用性） npm inst...
搜索引擎Elasticearch
最新发布
weixin_67755923的博客
03-11 142
了解Elasticsearch的应用场景
Elasticearch 搜索引擎（1
Java.慈祥
03-09 1137
Elasticearch 搜索引擎asdsad asdmksa
node js npm grunt安装，elasticsearch-head 5.X安装
风.foxwho(神秘狐)
10-26 1万+
1.linux系统fox.风1.1 方式一 下载编译后安装包安装下载地址https://nodejs.org/en/download/All download options选择这个链接（这个是已经编译好的，尽量不要自己编译，因为坑比较多）这边选择的是如下(目前最新长期稳定版)：node-v6.9.1-linux-x64.tar.gzwget https://nodejs.org/dist/v6.9
ES插件es-head下载和安装
技术
06-18 1万+
ES插件es-head下载和安装 下载elasticsearch-head并解压 在线下载：wget https://github.com/mobz/elasticsearch-head/archive/master.zip 或者到github下载：https://github.com/mobz/elasticsearch-head unzip elasticsearch-head-maste...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值