tian830937的专栏

转自https://www.cnblogs.com/shenlei-blog/p/13367269.html一、ES集群原理　　查看集群健康状况：URL+ /GET _cat/health代表一个集群，集群中有多个节点，其中有一个为主节点，这个主节点是可以通过选举产生的，主从节点是对于集群内部来说的。es的一个概念就是去中心化，字面上理解就是无中心节点，这是对于集群外部来说的，因为从外部来看es集群，在逻辑上是个整体，你与任何一个节点的通信和与整个es集群通信是等价的。在单台ES服务器节点上，随着业务量

使用ElasticHD搜索ES集群内的实时数据，比如日志分析、性能指标监控。ES实时数据搜索使用ElasticHD搜索ES集群内的实时数据，比如日志分析、性能指标监控。数据可视化Dashboard创建定制化的Dashboard，展示内存、CPU、磁盘利用率等关键指标。索引管理方便地管理ES集群中的各类索引，如新建、删除、映射修改。SQL到DSL转换利用SQL语句查询ES数据，自动转换成Elasticsearch查询DSL。典型生态项目。

一般使用时使用ES 中存储全文检索的关键字与获取的商品详情的id，通过ES查询获取查询商品的列表中展示的数据，通过展示id 操作去获取展示商品的所有信息。mysql根据id去查询数据库数据是很快的；为什么ES一般不存储所有表的数据？因为数据表的所有字段列并不一定参与业务查询，如果将业务表中超多列的字段全部存储在ES中反而影响ES的查询性能。在实际使用中ES中一般存储，全文检索列或者列表展示列字段和id。通过id去数据库hash散列分库分表查询大数据列是比较快的；通过点击商品详情获取商品详情id，通过点

也就是FileBeat 通过读取日志文件位置获取日志内容，然后发送至logstash，logstash收到日志后再发送至ES，这种方式。

beats是一个代理，将不同类型的数据发送到elasticsearch。beats可以直接将数据发送到elasticsearch，也可以通过logstash将数据发送elasticsearch。beats有三个典型的例子：Filebeat、Topbeat、Packetbeat。Filebeat用来收集日志，Topbeat用来收集系统基础设置数据如cpu、内存、每个进程的统计信息，Packetbeat是一个网络包分析工具，统计收集网络信息。这三个是官方提供的。后续会慢慢介绍这三个beat。

https://www.bilibili.com/video/BV1x94y1674x/?buvid=XY705117E90F73A790429C9CFBD5F70F22168&vd_source=939ea718db29535a3847d861e5fe37ef

顾名思义，文本分析就是把全文本转换成一系列单词（term/token）的过程，也叫分词。在 ES 中，Analysis是通过分词器（Analyzer） 来实现的，可使用 ES 内置的分析器或者按需定制化分析器。举一个分词简单的例子：比如你输入 Mastering Elasticsearch，会自动帮你分成两个单词，一个是 mastering，另一个是 elasticsearch，可以看出单词也被转化成了小写的。

倒排表以字或词为关键字进行索引，表中关键字所对应的记录表项记录了出现这个字或词的所有文档，一个表项就是一个字表段，它记录该文档的ID和字符在该文档中出现的位置情况。单词-文档矩阵是表达两者之间所具有的一种包含关系的概念模型，图1展示了其含义。下图的每列代表一个文档，每行代表一个单词，打对勾的位置代表包含关系。从纵向即文档这个维度来看，每列代表文档包含了哪些单词，比如文档1包含了词汇1和词汇4，而不包含其它单词。从横向即单词这个维度来看，每行代表了哪些文档包含了某个单词。

bulk 对 JSON串 有着严格的要求。每个JSON串 不能换行 ，只能放在同一行，同时， 相邻的JSON串之间必须要有换行 （Linux下是\n；一般建议是1000-5000个文档，大小建议是5-15M，默认不能超过100M，可以在es的配置文件（即$ES_HOME下的config下的elasticsearch.yml）中。Bulk会把将要处理的数据载入内存中，所以数据量是有限制的，最佳的数据量不是一个确定的数值，它取决于你的硬件，你的文档大小以及复杂性，你的索引以及搜索的负载。

（1）数据量较大，es的分布式本质，可以帮助你快速进行扩容，承载大量数据（2）数据结构灵活多变，随时可能会变化，而且数据结构之间的关系，非常复杂，如果我们用传统数据库，那是不是很坑，因为要面临大量的表（3）对数据的相关操作，较为简单，比如就是一些简单的增删改查，用我们之前讲解的那些document操作就可以搞定（4）NoSQL数据库，适用的也是类似于上面的这种场景。

本文主要介绍ES中的数据组成结构单元。

文件描述配置Logstash的yml。包含在单个Logstash实例中运行多个管道的框架和说明。配置Logstash的JVM，使用此文件设置总堆空间的初始值和最大值，此文件中的所有其他设置都被视为专家设置。包含log4j 2库的默认设置。

更说明转自https://blog.csdn.net/IT_ZRS/article/details/1254965881 主要结构功能使用浏览器访问 ip:5601 默认端口，进入首页Discover：日志管理视图 主要进行搜索和查询Visualize：统计视图 构建可视化的图表Dashboard：仪表视图 将构建的图表组合形成图表盘Timelion：时间轴视图 随着时间流逝的数据APM：性能管理视图 应用程序的性能管理系统Canvas：大屏展示

进入kibana，点击Dev Tools，此处可以编写es的查询语句；点击Management可以进入index的管理界面。

需要通过Kibana导入Sample Data的电商数据。具体参考“2.2节-Kibana的安装与界面快速浏览”

注：filter可以放到bool条件下面，同样bool条件也可以放在filter下面。

firewalld 启动或者重启的时候，将会从 iptables 中移除 docker的规则，从而影响了 Docker 的正常工作。当你使用的是 systemd 的时候， firewalld 会在 Docker 之前启动，但是如果你在 Docker 启动之后再启动。我这里是将原本的elasticsearch改成了docker内部的IP，查看docker内部的IP命令如下。如果上面的配置都没有问题的话，可能是因为防火墙的问题，我们需要把防火墙关掉（我就是这么解决的）这样就是显示，就表明防火墙已经关闭。

起源 LuceneElasticsearch 的诞生。