2019年08月_Ayhan_huang

原创 elasticsearch部署

推荐到官网下载ES源码的打包，个人觉得比起通过yum等包管理工具安装更灵活，且方便管理，比如目录自主可控，便于配置安装插件更方便同义词等词库词库维护##ES长期运行推荐使用进程管理工具来运行ES，这里使用supervisor，将es作为supervisor的子进程运行。配置supervisord[supervisord]; ....nodaemon=false ...

2019-08-27 11:15:36 331

原创倒排索引、分词、同义词

倒排索引正排索引：文档ID =>文档内容和单词倒排索引：词条 =>文档ID倒排索引组成：词条字典（Term Dictionary），记录所有的词条与倒排列表的映射关系。这个字典很大，通过B+树或哈希拉链法实现，以满足高性能的插入与查询。倒排列表（Posting List），由倒排索引项组成，包含如下信息：文档ID词频（TF）：该单词在文档中出现的次数，用于相关性评分...

2019-08-27 11:14:41 807

原创 Mapping

mapping是定义文档及其字段是如何存储和索引的程序。例如，使用mapping定义：哪个字符串字段应该视为全文字段哪个字段包含数字，日期，或地理位置日期的格式自定义规则来控制动态添加字段mapping type每个索引都有mapping type来决定文档如何被索引。mapping type包含：meta-fields: 比如_index, _type, _id, _sou...

2019-08-27 11:14:05 3481

原创 Search API

Search搜索条件可以通过查询字符串，也可以在请求体中传递。搜索接口支持从多个索引中查找文档vj。基本格式：# 单索引内检索文档GET /{index}/_search?q={field}:xxx# 多索引内检索文档GET /{index1, index2}/_search?q={field}: xxx# 全部索引内检索文档GET /_all_/_search?q={fie...

2019-08-27 11:13:13 720

原创 Query DSL

"ES提供了基于JSON的查询DSL，它由两种语句组成：叶子查询（Leaf Query）：查询特定字段的特定值，比如match, term, range查询，这些查询可以单独使用。复合查询（Compound Query）：复合查询包装其他叶子查询和复合查询，以逻辑运算的方式（比如bool，dis_max查询）连接多个查询，或更改它们的行为（比如，constant_score查询）依据它们...

2019-08-27 11:12:32 500

原创 Document API

Index APIindex api用来新增文档，支持如下几种方式：# 指定id创建，如果id已存在，则会进行更新，`_version` + 1PUT {index}/_doc/{id}# 强制创建，如果id已经存在，409错误(以下二者等价)PUT {index}/_doc/{id}?op_type=createPUT {index}/_create/{id}# POST创建，...

2019-08-27 11:11:56 1005

原创基本概念

基本概念文档（Document）es是面向文档的，文档是所有可搜索数据的最小单位文档会被序列化为JSON格式，保存在es中每个文档都有一个Unique ID可以自己指定也可以由es自动生成示例{ "year": 1995, "@version": "1", "genre": [ "Adventure", "Animation", ...

2019-08-27 11:11:10 243

原创介绍及安装

介绍及安装ES版本问题：2015：2.02016：5.0Lucene 6.X2017：6.0Lucene 7.X2019：7.0Lucene 8.0python客户端对以上各版本都提供了支持：elasticsearch-py：低层库，只提供了Elasticsearch REST API的简单封装。个人更推荐这种原生一点的方式。https://...

2019-08-27 11:10:13 288

Ayhan_huang的博客