wyj_bili-CSDN博客

原创 es搜索核心与实战Day08

es搜索核心与实战Day08一、分页于遍历1.From/Size默认情况下，查询按照相关度算分排序，返回前十条记录容易理解的分页方案From：开始位置Size：期望获取文档的总数2.Search After避免深度分页问题避免深度分页的性能问题，可以实时获取下一页文档信息不支持指定页数（From）只能往下翻第一步搜索需要指定sort，并保证值是唯一的（可以通过加入_id保证唯一性）然后使用上一次，最后一个文档的sort值进行查询POST tmdb/_se

2020-07-09 12:31:25 220

原创 es搜索核心与实战Day07

es搜索核心与实战Day071.文档到分片的路由算法shard=hash(_rounting)%number_of_primary_shards Hash算法确保文档均匀分散到分片中默认的_routing 值是文档id 可以自行制定routing数值，例如用相同国家的商品，都分配到指定的shard 设置Index Setting后，Primary数，不能随意修改的更本原因更新一个文档2.分片及其生命周期a.倒排索引的不

2020-07-01 12:38:14 179

原创 es搜索核心与实战Day06

es搜索核心与实战Day06一、分布式特性Elasticsearch的分布式架构带来的好处1.存储的水平扩展，支持PB级数据提高系统的可用性，部分节点停止服务，整个集群的服务不受影响Elasticsearch的分布式架构1.不同的集群通过不过的名字来区分，默认名字“elasticsearch”2.通过配置文件修改，或者在命令行中 -E cluster.name=geektime设定二、Coordinating Node处理请求的节点，叫Coordinating Nod

2020-06-23 18:11:07 166

原创 es搜索核心与实战Day05

es搜索核心与实战Day05一、相关性和相关性算分相关性一Relevance搜索的相关性算分，描述了一个文档和查询语句匹配的程度。ES会对每个匹配查询条件的结果进行算分_score打分的本质是排序，需要把最符合用户需求的文档排在前面。ES 5之前，默认的相关性算分采用TF-IDF，现在采用BM 251.词频TFTerm Frequency: 检索词在子篇文档中出现的频率检索词出现的次数除以文档的总字数度量一条查询和结果文档相关性的简单方法: 简单将搜索中每一一个词的TF进行相力

2020-06-23 18:09:29 172

原创 es搜索核心与实战Day04

es搜索核心与实战Day041.Index TemplateIndex Templates -帮助你设定Mappings和Settings, 并按照一-定的规则，自动匹配到新创建的索引之上a.模版仅在一个索引被新创建时，才会产生作用。修改模版不会影响已创建的索引 b.你可以设定多个索引模版，这些设置会被“merge"在一起 c.你可以指定 “order”的数值，控制“merging’ 的过程//Create a default templatePUT _t

2020-06-23 18:09:11 176

原创 es搜索核心与实战Day03（Mapping）

es搜索核心与实战Day03（Mapping）一.MappingMapping类似数据库中的schema的定义，作用如下 1. 定义索引中的字段的名称 2.定义字段的数据类型，例如字符串，数字，布尔… 3.字段，倒排索引的相关配置，(Analyzed or Not Analyzed,Analyzer)Mapping 会把JSON文档映射成Lucene所需要的扁平格式一个Mapping属于一个索引的Type

2020-06-20 09:31:57 201

原创 es搜索核心与实战 Day02

es搜索核心与实战 Day02一、倒排索引1.搜索引擎正排索引——文档ld到文档内容和单词的关联+倒排索引——单词到文档Id的关系2。倒排索引的核心组成倒排索引包含两个部分单词词典 (Term Dictionary)，记录所有文档的单词，记录单词到倒排列表的关联关系单词词典一般比较大，可以通过B +树或哈希拉链法实现，以满足高性能的插入与查询倒排列表(Posting List) - 记录了单词对应的文档结合，由倒排索引项组成倒

2020-06-15 18:39:12 171

原创 logstach安装

logstach安装1.Logstash下载安装Logstash官网：https://www.elastic.co/cn/downloads/logstashLogstash版本号要和Elasticsearch对应解压tar -zxvf logstash-7.6.2.tar.gz -C /opt/module/进入logstash下的bin目录，创建logstash.conf文件添加配置input { file { #指定所要的数据文件路径 path => "/opt/mo

2020-06-13 20:59:26 823

原创在CentOS7虚拟机上，es搜索安装过程以及kibana的安装。

在CentOS7虚拟机上，es搜索安装以及kibana的安装。(1)elasticsearch7的安装首先在es官网下载安装包连接：https://www.elastic.co/cn/elasticsearch/解压：tar -zxvf elasticsearch-7.7.1-linux-x86_64.tar.gz / /+你自己选择的文件夹路径（或tar -zxvf elasticsearch-7.7.1-linux-x86_64.tar.gz 后mv elasticsearch- 7.x.

2020-06-12 12:32:54 545

原创 es搜索核心与实战 Day01

es搜索核心与实战 Day01文档Elasticsearch 是面向文档的，文档是所有可搜索数据的最小单位日志文件中的日志项一本电影的具体信息 / 一张唱片的详细信息MP3播放器里的一首歌 / 一篇PDF文档中的具体内容文档会被序列化成JSON格式，保存在Elasticsearch中JSON对象由字段组成,每个字段都有对应的字段类型(字符串/数值/布尔/日期/二进制/范围类型)每个文档都有一个 Unique ID你可以自己指定 ID或者通过Elastic

2020-06-12 11:03:04 259

wyj_bili的博客