精读Elasticsearch

最新推荐文章于 2021-01-27 00:15:34 发布

Carry.lili

最新推荐文章于 2021-01-27 00:15:34 发布

阅读量146

点赞数 1

分类专栏： python 数据库文章标签： elasticsearch 全文检索搜索引擎

本文链接：https://blog.csdn.net/weixin_45528454/article/details/100146417

版权

python 同时被 2 个专栏收录

27 篇文章 2 订阅

订阅专栏

数据库

14 篇文章 0 订阅

订阅专栏

Elasticsearch是什么？

Elasticsearch它是遵循 restful API风格、高扩展、高可用、实时监测数据的一个搜索引擎。基于lucene全文检索架构，是由java开发的。

restful风格：可以采用http的请求方式，实现数据的增删改查。

高扩展：它本身就是一个集群，添加节点非常简单，无需配置集群，Elasticsearch 会自动的在各节点中迁移分片，使得数据仍然均匀分布在集群里。

高可用：Elasticsearch是分布式的，每个节点都有复制备份，就算有一两个宕机，其实也无所谓了。

实时监测数据：对于PB大数据的搜集能力很高，实时性比solr要好，可能也是这个原因，现在Elasticsearch用的比较多。

常用的搜索引擎有哪些？

Lucene 、Elasticsearch、solr

Elasticsearch与Lucene的区别？（成品与半成品）

Lucene：专注于搜索底层的建设，还不完善，例如一辆汽车的引擎。
Elasticsearch：专注于企业应用，成熟。例如：完整的一辆汽车，可直接使用。

Elasticsearch与Solr的区别？

Solr:
Solr是一个独立的企业级搜索应用服务器，它对外提供类似于Web-service的API接口。用户可以通过http请求，向搜索引擎服务器提交一定格式的XML文件，生成索引；也可以通过Http Get操作提出查找请求，并得到XML格式的返回结果。

es与solr区别

总结：

对于查询速度来说：两者都是毫秒级别的，但是单纯的对已有的数据（历史数据）查询时，solr更快一些。
当实时添加索引时，es优势明显高于solr，主要是solr添加索引会产生io阻塞，导致查询速度慢。
当遇到PB（海量数据）时，es优势就更明显了，查询速度更快，多以这也是为什么很多企业使用es全文检索的原因。而solr从毫秒级升为秒级。

为什么要使用Elasticsearch?

　　如果有很多的数据，再采用以往的模糊查询，导致商品查询是全表扫面，在百万级别的数据库中，效率非常低下，而我们使用ES做一个全文索引，我们将经常查询的商品的某些字段，比如说商品名，描述、价格还有id这些字段我们放入我们索引库里，可以提高查询速度。

Elasticsearch搜索的原理？

倒排索引（反向索引）：通过关键字查找对应的文档。
分析（分词+标准化）
- 首先，将一块文本分成适合于倒排索引的独立的词条。
- 之后，将这些词条统一化为标准格式以提高它们的“可搜索性”。
相关性：最相关的文档排在最前（TF/IDF，值越大，相关性越高），字段内容越长，相关性越低。

流程：

1.获取数据（可通过爬虫或者从数据库导入es）
2.把数据转换成文档（文档中包含阈值例如：文档标题、正文等）
3.分析文档（分词和标准化处理）
4，使用luence自带API为分词后的数据添加索引
5，当用户输入关键字搜索时，可快速搜到对应的内容。

Elasticsearch 应用？

站内搜索。主要和solr竞争，属于后起之秀。
NoSQL Json文档数据库：抢占Mongo市场，在读写性能上优于Mongo，同时也支持地理位置查询，也支持地理位置和文本混合查询。
监控。统计、日志类时间类的数据存储、分析、可视化，es在这方面是引领者。
国外：WiKipedia（维基百科）、Stack Overflow（IT问答网站）、Github等均使用Elasticsearch实现全文检索。
国内：百度、新浪、阿里巴巴、腾讯等公司均有对ES使用。
使用比较广泛的平台：ELK（Elasticsearch、Logstash、Kibana）

Elasticsearchd 使用？（CURL命令）

1，使用restfulAPI包含以下操作：
GET：获取对象的当前状态
POST：创建对象
PUT:更新对象的状态
DELETE:删除对象
HEAD：获取头信息

2，es内置方法：如下图

1.查询索引

curl 127.0.0.1:9200/_cat/indices

2.创建索引

#索引可以在添加文档数据时，通过动态映射的方式自动生成索引与类型。

#索引也可以手动创建，通过手动创建，可以控制主分片数目、分析器和类型映射。

PUT /my_index
{
    "settings": { ... any settings ... },
    "mappings": {
        "type_one": { ... any mappings ... },
        "type_two": { ... any mappings ... },
        ...
    }
}

3.删除索引

DELETE /my_index

4.创建索引库（articles）

curl -X PUT 127.0.0.1:9200/articles -H 'Content-Type: application/json' -d'
{
   "settings" : {
        "index": {
            "number_of_shards" : 3,
            "number_of_replicas" : 1
        }
   }
}
'

5，使用GET获取数据？

1，通过具体id查找对应的文档
curl 127.0.0.1:9200/articles/article/1?pretty

2，只获取一部分文档（文档的标题与正文）
curl 127.0.0.1:9200/articles/article/1?_source=title,content\&pretty

3，分页查询：size：每页的数量，from：起始
curl -X GET 127.0.0.1:9200/articles/article/_search?_source=title,user_id\&size=3\&from=10

4，查找文档是否存在？存在 200状态码、不存在 404状态码
curl -i -X HEAD 127.0.0.1:9200/articles/article/1

5，全文检索：q=xxx，%20：空格
curl -X GET 127.0.0.1:9200/articles/article/_search?q=content:python%20web\&_source=title,article_id\&pretty

6,高级查找：`match、term、range、highlight`

1，全文检索使用：match
curl -X GET 127.0.0.1:9200/articles/article/_search -d'
  {
      "query" : {
          "match" : {
              "title" : "python web"
          }
      }
  }'


2,精确查找：term
curl -X GET 127.0.0.1:9200/articles/article/_search?pretty -d'
  {
      "size": 5,
      "_source": ["article_id","title", "user_id"],
      "query" : {
          "term" : {
              "user_id" : 1
          }
      }
  }'

3，范围查找：和上述差不多
4，高亮查询：
curl -X GET 127.0.0.1:9200/articles/article/_search?pretty -d '
  {
      "size":2,
      "_source": ["article_id", "title", "user_id"],
      "query": {
          "match": {
               "title": "python web 编程"
           }
       },
       "highlight":{
            "fields": {
                "title": {}
            }
       }
  }
  '

6，更新文档？注意（如果指向更新一条数据，那么也要带入其他的数据，保证索引文档内容的完整性）

7，删除文档？

curl -X DELETE 127.0.0.1:9200/articles/article/1

8，在并发情况下，Elasticsearch如何保证读写一致？版本控制如何实现？

普通关系型数据库使用的是（悲观并发控制PCC）
修改一个数据前先锁定这一行，然后确保只有读取到数据的这个线程擦可以修改
ES使用（乐观并发控制OCC）
ES不会阻止某一个数据的访问，如果基础数据在我们读取和写入的间隔中发生了变化，更新就会失败，这个时候由程序来决定如何处理这个冲突。可以重新读取数据进行更新，也可以将这个情况直接反馈给用户。

第一步：先获取当前版本号： 例如（_version=1）
curl -X GET http://127.0.01:9200/articles/article/1

第二步：执行更新操作时，把版本号传进去
curl -X PUT http://127.0.0.1:9200/articles/article/1?_version=1 -H "Content-Type:application/json" -d '{"name":"carry","age":"18"}'

注意：
更新完之后，再查询版本，此时版本已经升为_version=2
如果传递的版本号和待更新的文档版本号不一致，则会更新失败。