elasticsearch
写在前面的话
本人最近在学习elasticsearch,会写个系列的学习笔记。学习的基础是张超老师的《Elasticsearch源码解析与优化实战 》,附上jd购买链接Elasticsearch源码解析与优化实战。写作时有改动,参考ES6.X。
行文方式:
摘抄书中比较重要的知识,再根据笔者自己的理解做一定改动,使之更加丰富、完整。小熊批注代表作者的理解,思考代表作者的思考,希望也可以启发读者的思考和讨论。
1. 走进Elasticsearch
本文主要对 Elasticsearch 有一个宏观的理解。
1.1 基本原理和概念
elasticsearch是一个准实时的分布式搜索引擎,内部使用lucene做索引与搜索。
何谓准实时?新增到ES中的数据在1s后就可以被检索到。分布式意味着集群可以动态横向扩展。集群规模支持“上千”个节点,但是分片总数不宜过多,主节点在管理大量分片时会有较大压力。因此,我们目前认为ES更适合中等数据量的业务,尽量避免产生单个集群存储数十万分片的场景。
小熊批注
准实时,意味着正常情况下我们的数据在1s后可以在ES中索引和使用,也同样意味着我们的数据在ES中需要等待1s之后才可以使用。在使用ES进行业务场景的使用时,应该明白这一点。
思考:
1.集群创建和使用过程中,主节点和普通节点有什么区别和联系,画出图。
2.如果ES的主节点解决管理大量分片的压力,是不是意味着ES可以从中等规模走向大规模。
lucene 时java语言编写的全文搜索框架,用于处理纯文本的数据,但它只是一个库,提供建立索引、执行搜索等接口。但是不包含分布式服务,这些正是ES做的。什么时全文?对全部的文本内容进行分析,建立索引,使之可以被搜索,因此被称为全文。
todo
解释全文搜索,画图,举例。
ES的应用。基于ES,你可以很容易搭建自己的搜索引擎,用于分析日志,或者配合开源爬虫建立某个垂直领域的搜索引擎。同时,ES还提供了大量聚合功能,可以进行数据分析、统计,生成指标数据。
思考
什么是垂直领域。关于这一点笔者不甚了解,以后会补充。
使用一项技术,了解它的适用领域和边界是很总要的。
1.2 索引结构
ES是面向文档的。各种文本内容以文档的形式存储到ES中,一般使用JSON作为文档的序列化格式。文档可以有很多字段,在创建索引的时候,我们需要描述文档中每个字段的类型,并且可能需要指定不同的分析器。文档可以是一封邮件,一条日志,或者一个网页的内容。
在存储结构上,由index, _type和_id唯一标识一个文档。(ES7废弃_type)
index指向一个或多个物理分片的逻辑命名空间。_id文档标记符由系统自动生成或使用者提供。
1.3 分片(shard)
在分布式系统中,单机无法存储规模巨大的数据,要依靠大规模集群处理和存储这些数据,一般通过增加机器数量来提高系统水平扩展能力。因此,需要将数据分成若干小块,分配到各个机器上,然后通过某种路由策略找到某个数据块的位置。
将数据分片,可以提高水平扩展能力,还可以将分片复制成多个副本,放置到不同的机器中。这样还可以增加系统可用性,同时数据副本还可以使读操作并发执行,分担集群压力。
多副本也带了一致性问题,部分副本写成功,部分写失败。
为了应对并发更新问题,ES将数据副本分成主从两部分,即主分片(primary shard)和副分片(replica shard)。主数据作为权威数据,写过程先写主分片,成功后再写副分片,恢复阶段以主分片为准。
说明:后期会详细展示这个过程。有图有真相。
索引中数据分片关系,如图1.1所示。
分片(shard)是底层的基本读写单元,分片的目的是为了分割巨大索引,让读写可以并行操作,由多台机器共同完成。读写请求最终落到某个分片上,分片可以独立执行读写工作。ES利用分片将数据分发到集群各处。分片是数据的容器,文档保存在分片内,不会跨分片存储。当集群规模扩大或缩小时,ES会自动在各节点中迁移分片,使数据仍然均匀分布在集群里。
- 全新的界面设计 ,将会带来全新的写作体验;
- 在创作中心设置你喜爱的代码高亮样式,Markdown 将代码片显示选择的高亮样式 进行展示;
- 增加了 图片拖拽 功能,你可以将本地的图片直接拖拽到编辑区域直接展示;
- 全新的 KaTeX数学公式 语法;
- 增加了支持甘特图的mermaid语法1 功能;
- 增加了 多屏幕编辑 Markdown文章功能;
- 增加了 焦点写作模式、预览模式、简洁写作模式、左右区域同步滚轮设置 等功能,功能按钮位于编辑区域与预览区域中间;
- 增加了 检查列表 功能。
功能快捷键
撤销:Ctrl/Command + Z
重做:Ctrl/Command + Y
加粗:Ctrl/Command + B
斜体:Ctrl/Command + I
标题:Ctrl/Command + Shift + H
无序列表:Ctrl/Command + Shift + U
有序列表:Ctrl/Command + Shift + O
检查列表:Ctrl/Command + Shift + C
插入代码:Ctrl/Command + Shift + K
插入链接:Ctrl/Command + Shift + L
插入图片:Ctrl/Command + Shift + G
查找:Ctrl/Command + F
替换:Ctrl/Command + G
合理的创建标题,有助于目录的生成
直接输入1次#,并按下space后,将生成1级标题。
输入2次#,并按下space后,将生成2级标题。
以此类推,我们支持6级标题。有助于使用TOC
语法后生成一个完美的目录。
如何改变文本的样式
强调文本 强调文本
加粗文本 加粗文本
标记文本
删除文本
引用文本
H2O is是液体。
210 运算结果是 1024.
插入链接与图片
链接: link.
图片:
带尺寸的图片:
居中的图片:
居中并且带尺寸的图片:
当然,我们为了让用户更加便捷,我们增加了图片拖拽功能。
如何插入一段漂亮的代码片
去博客设置页面,选择一款你喜欢的代码片高亮样式,下面展示同样高亮的 代码片
.
// An highlighted block
var foo = 'bar';
生成一个适合你的列表
- 项目
- 项目
- 项目
- 项目
- 项目1
- 项目2
- 项目3
- 计划任务
- 完成任务
创建一个表格
一个简单的表格是这么创建的:
项目 | Value |
---|---|
电脑 | $1600 |
手机 | $12 |
导管 | $1 |
设定内容居中、居左、居右
使用:---------:
居中
使用:----------
居左
使用----------:
居右
第一列 | 第二列 | 第三列 |
---|---|---|
第一列文本居中 | 第二列文本居右 | 第三列文本居左 |
SmartyPants
SmartyPants将ASCII标点字符转换为“智能”印刷标点HTML实体。例如:
TYPE | ASCII | HTML |
---|---|---|
Single backticks | 'Isn't this fun?' | ‘Isn’t this fun?’ |
Quotes | "Isn't this fun?" | “Isn’t this fun?” |
Dashes | -- is en-dash, --- is em-dash | – is en-dash, — is em-dash |
创建一个自定义列表
-
Markdown
- Text-to- HTML conversion tool Authors
- John
- Luke
如何创建一个注脚
一个具有注脚的文本。2
注释也是必不可少的
Markdown将文本转换为 HTML。
KaTeX数学公式
您可以使用渲染LaTeX数学表达式 KaTeX:
Gamma公式展示 Γ ( n ) = ( n − 1 ) ! ∀ n ∈ N \Gamma(n) = (n-1)!\quad\forall n\in\mathbb N Γ(n)=(n−1)!∀n∈N 是通过欧拉积分
Γ ( z ) = ∫ 0 ∞ t z − 1 e − t d t . \Gamma(z) = \int_0^\infty t^{z-1}e^{-t}dt\,. Γ(z)=∫0∞tz−1e−tdt.
你可以找到更多关于的信息 LaTeX 数学表达式here.
新的甘特图功能,丰富你的文章
- 关于 甘特图 语法,参考 这儿,
UML 图表
可以使用UML图表进行渲染。 Mermaid. 例如下面产生的一个序列图:
这将产生一个流程图。:
- 关于 Mermaid 语法,参考 这儿,
FLowchart流程图
我们依旧会支持flowchart的流程图:
- 关于 Flowchart流程图 语法,参考 这儿.
导出与导入
导出
如果你想尝试使用此编辑器, 你可以在此篇文章任意编辑。当你完成了一篇文章的写作, 在上方工具栏找到 文章导出 ,生成一个.md文件或者.html文件进行本地保存。
导入
如果你想加载一篇你写过的.md文件,在上方工具栏可以选择导入功能进行对应扩展名的文件导入,
继续你的创作。
注脚的解释 ↩︎