- 博客(26)
- 资源 (9)
- 收藏
- 关注
RSS订阅原创 Logstash：把 MySQL 数据导入到 Elasticsearch 中
在今天的这篇文章中，我们来讲述一下如何把一个MySQL的数据库导入到 Elasticsearch中并对数据进行分析。安装在今天的这个练习中，我们需要使用到MySQL数据。在做这个练习之前，我假设我们已经安装好自己的Elasticsearch及Kibana。如果没有安装，请参照我如下的文章进行安装：安装 Elasticsearch。请参阅文章“如何在Linux，MacOS及Wind...
2019-09-29 18:33:35
5680
17
原创 Beats：运用 Filebeat module 分析 nginx 日志
在之前的文章中，我介绍了如何使用Filebeat把一个日志文件直接写入到Elasticsearch中，或通过Logstash的方法写到Elasticsearch中。在今天的文章中，我们来介绍如何运用Filebeat模块来把nginx日志导入到Elasticsearch中，并进行分析。Filebeat模块为您提供了一种快速处理常见日志格式的快速方法。 它们包含默认配置，Elasticsearch...
2019-09-28 12:53:19
7113
原创 Elasticsearch：fuzzy 搜索 （模糊搜索）
在实际的搜索中，我们有时候会打错字，从而导致搜索不到。在Elasticsearch中，我们可以使用fuzziness属性来进行模糊查询，从而达到搜索有错别字的情形。match查询具有“fuziness”属性。它可以被设置为“0”， “1”， “2”或“auto”。“auto”是推荐的选项，它会根据查询词的长度定义距离。Fuzzy query返回包含与搜索词相似的词的文档，以Levens...
2019-09-24 15:55:00
16304
2
原创 Beats：Elastic Beats 介绍 及和 Logstash 的比较
ElasticStack传统上由三个主要组件（Elasticsearch，Logstash和Kibana）组成，早已脱离了这种组合，现在也可以与名为“ Beats”的第四个元素结合使用--一个针对不同用例的日志运送者系列。 现在网上有一种说法叫做ELKB，这里的B就是指的beats.本教程为刚刚熟悉堆栈的用户提供了指南，并提供了开始使用不同节奏的信息-Filebeat，Packetbeat，M...
2019-09-23 17:35:08
5853
原创 Elasticsearch：运用 search_after 来进行深度分页
在上一篇文章 “Elasticsearch：运用scroll接口对大量数据实现更好的分页”，我们讲述了如何运用scroll接口来对大量数据来进行有效地分页。在那篇文章中，我们讲述了两种方法：from加上size的方法来进行分页 运用scroll接口来进行分页对于大量的数据而言，我们尽量避免使用from+size这种方法。这里的原因是index.max_result_window的默认值是1...
2019-09-19 21:58:39
8161
40
原创 Elasticsearch：运用 scroll 接口对大量数据实现更好的分页
在Elasticsearch中，我们可以通过size和from来对我们的结果来进行分页。但是对于数据量很大的索引，这是有效的吗？Scroll API可用于从单个搜索请求中检索大量结果（甚至所有结果），这与在传统数据库上使用cursor的方式非常相似。Scroll不是用于实时用户请求，而是用于处理大量数据，例如，用于处理大量数据。 为了将一个索引的内容重新索引到具有不同配置的新索引中。为了说明问...
2019-09-19 17:11:08
4153
10
原创 Logstash：多个配置文件（conf）
在前面的一篇文章“Logstash：处理多个input”中，我们介绍了如何使用在同一个配置文件中处理两个input的情况。在今天这篇文章中，我们来介绍如何来处理多个配置文件的问题。对于多个配置的处理方法，有多个处理方法：多个pipeline 一个pipleline处理多个配置文件一个pipeline含有一个逻辑的数据流，它从input接收数据，并把它们传入到队列里，经过worker......
2019-09-18 20:47:31
13484
2
原创 Logstash：处理多个 input
我们知道Logstash的架构如下：它的整个pipleline分为三个部分：input插件：提取数据。 这可以来自日志文件，TCP或UDP侦听器，若干协议特定插件（如syslog或IRC）之一，甚至是排队系统（如Redis，AQMP或Kafka）。 此阶段使用围绕事件来源的元数据标记传入事件。 filter 插件：插件转换并丰富数据 output插件: 将已处理的事件加载到其...
2019-09-18 16:39:51
6536
14
原创 Elastic：用 Docker 部署 Elastic Stack
在之前的文章“如何在Linux，MacOS及Windows上进行安装Elasticsearch”，我介绍了如何通过安装包或者下载的压缩文件来进行安装Elasticsearch。在今天的文章里，我们来详细介绍如何使用docker来进行安装Elastic栈。安装因为我们需要使用docker来进行安装，我们必须安装：docker：根据不同的操作系统，请按照要求安装docker。可...............
2019-09-17 14:20:02
9151
23
原创 Logstash：Data 转换，分析，提取，丰富及核心操作
在今天的这篇文章中，着重介绍Logstash在数据转换，分析，提取及核心操作方便的内容。首先，希望大家已经按照我之前的文章 “如何安装Elastic栈中的Logstash”把Logstash安装好。Logstash数据源我们知道Logstash可以在很多的应用场景中使用。它有各种各样的数据源，比如：这些数据丰富多彩。为了能够让这些数据最终能进入到Elastic...
2019-09-15 21:26:19
9190
5
原创 Beats：通过 Filebeat 把日志传入到 Elasticsearch
我们知道Elastic Stack被称之为ELK (Elasticsearch，Logstash and Kibana)。由于beats的加入，现在很多人把ELK说成为ELKB。这里的B就是代表Beats。Beats在Elasticsearch中扮演很重要的角色。从上面的图上，我们可以看出来，Beats可以帮我们采集数据，并把它传入到Elasticsearch或Logstash之中。Bea...
2019-09-12 08:55:35
19210
28
原创 Logstash：把 Apache 日志导入到 Elasticsearch
在之前的文章“Logstash: 应用实践 - 装载CSV文档到Elasticsearch”中，我们已经讲述了如果把一个CSV格式的文件的数据传入到Elasticsearch之中，今天我们来讲述一下如何把一个Apache log的内容传入到Elasticsearch之中。在进行这个练习之前，大家已经按照我之前的文章“如何安装Elastic栈中的Logstash”把Logstash安装好了。并且......
2019-09-11 16:24:37
4156
13
原创 Elasticsearch：Pinyin 分词器
Elastic的Medcl提供了一种搜索Pinyin搜索的方法。拼音搜索在很多的应用场景中都有被用到。比如在百度搜索中，我们使用拼音就=可以出现汉字：对于我们中国人来说，拼音搜索也是非常直接的。那么在Elasticsearch中我们该如何使用pinyin来进行搜索呢？答案是我们采用Medcl所创建的elasticsearch-analysis-pinyin分析器。下面我们简单介绍一下如何进...
2019-09-10 14:56:24
5463
5
原创 Logstash：用 Filebeat 把数据传入到 Logstash
在今天的讲座里，我们来讲述一下如何把Filebeat里的数据传入到Logstash之中。在做这个练习之前，我想信大家已经安装我之前的文章“如何安装Elastic栈中的Logstash”把Logstash安装好。之前，我们介绍了一这样的一幅图：如上图所示，我们可以直接把beats里的数据直接传入到Elasticsearch，也可以直接接入到Logstash之中。数据采集流程：...
2019-09-10 09:30:41
16488
5
原创 Logstash: 应用实践 - 装载 CSV 文档到 Elasticsearch
在进行我们这个实践之前，相信大家已经安装好自己的Logstash环境。如果大家还没安装好Logstash，可以参照我之前的文章“如何安装Elastic栈中的Logstash”。Logstash到底是做什么的？我们先看一下如下的图：简单地说，Logstash就是位于Data和Elasticsearch之间的一个中间件。Logstash是一个功能强大的工具，可与各种部署集成...
2019-09-09 11:48:42
2819
1
原创 Elasticsearch: Painless script 编程
我们之前看见了在Elasticsearch里的ingest node里，我们可以通过以下processor的处理帮我们处理我们的一些数据。它们的功能是非常具体而明确的。那么在Elasticsearch里，有没有一种更加灵活的方式可供我们来进行编程处理呢？如果有，它使用的语言是什么呢？在Elasticsearc中，它使用了一个叫做Painless的语言。它是专门为Elasticsearch而建立..............................
2019-09-06 18:43:33
8152
11
原创 Elasticsearch：Dynamic mapping
Elasticsearch最重要的功能之一是它试图摆脱你的方式，让你尽快开始探索你的数据。 要索引文档，您不必首先创建索引，定义映射类型和定义字段 - 您只需索引文档，那么index，type和field将自动生效。比如：PUT data/_doc/1 { "count": 5 }上面的命令将自动帮我们生成一个叫做data的index，并同时生成一个叫做_doc的type及一个叫做co......
2019-09-05 16:25:22
3702
7
原创 Elasticsearch：search template
我们发现一些用户经常编写了一些非常冗长和复杂的查询 - 在很多情况下，相同的查询会一遍又一遍地执行，但是会有一些不同的值作为参数来查询。在这种情况下，我们觉得使用一个search template（搜索模板）来做这样的工作非常合适。搜索模板允许您使用可在执行时定义的参数定义查询。Search template的好处是：避免在多个地方重复代码 更容易测试和执行您的查询 在应用程序间共享查...
2019-09-05 14:10:13
3379
4
原创 Elasticsearch: Index template
Index template定义在创建新index时可以自动应用的settings和mappings。 Elasticsearch根据与index名称匹配的index模式将模板应用于新索引。这个对于我们想创建的一系列的Index具有同样的settings及mappings。比如我们希望每一天/月的日志的index都具有同样的设置。Index template仅在index创建期间应用。 对...
2019-09-05 11:50:58
5260
6
原创 Elasticsearch：设置 Elastic 账户安全
我们知道Elastic安全是非常重要的。没有这个我们的数据可以被任何的人进行访问，串改，删除。Elastic Stack的安全是由x-pack所提供的。在Elastic Stack 7.0版本之前，这个是商用的版本，需要进行安装，并购买。从Elastic Stack 7.0之后，x-pack都已经在发布版中，所以不需要进行安装。我们只需要进行配置就可以了。在今天的这篇文章中，我们来详细介绍如何......
2019-09-04 23:23:50
16341
5
原创 Elasticsearch: Reindex 接口
在我们开发的过程中，我们有很多时候需要用到Reindex接口。它可以帮我们把数据从一个index到另外一个index进行重新reindex。这个对于特别适用于我们在修改我们数据的mapping后，需要重新把数据从现有的index转到新的index建立新的索引，这是因为我们不能修改现有的index的mapping一旦已经定下来了。在接下来的介绍中，我们将学习如何使用reindex接口。为了.........
2019-09-04 09:36:29
3238
28
原创 Elasticsearch: Ngrams, edge ngrams, and shingles
Ngrams 和 edge ngrams 是在 Elasticsearch 中标记文本的两种更独特的方式。 Ngrams是一种将一个标记分成一个单词的每个部分的多个子字符的方法。 ngram和edge ngram过滤器都允许您指定min_gram以及max_gram设置。 这些设置控制单词被分割成的标记的大小。 这可能令人困惑，让我们看一个例子。 假设你想用ngram分析仪分析“spaghetti”这个词，......
2019-09-03 22:53:25
3615
5
原创 Elasticsearch: analyzer
如果大家之前看过我写的文章“开始使用Elasticsearch （3）”，在文章的最后部分写了有关于analyzer的有关介绍。在今天的文章中，我们来进一步了解analyzer。 analyzer执行将输入字符流分解为token的过程，它一般发生在两个场合：在indexing的时候，也即在建立索引的时候 在searching的时候，也即在搜索时，分析需要搜索的词语什么是analysis...
2019-09-03 11:08:09
8604
9
原创 Elasticsearch：Index alias
现在让我们来谈谈Elasticsearch最简单和最有用的功能之一：别名 （alias)。为了区分这里alias和文章“Elasticsearch : alias数据类型”，这里的别名（alias）指的是index的别名。别名正是他们听起来的样子; 它们是您可以使用的指针或名称，对应于一个或多个具体索引。 事实证明这非常有用，因为它在扩展集群和管理数据在索引中的布局方式时提供了灵活性。 即使使用...
2019-09-02 15:27:40
3458
10
原创 Elasticsearch : alias 数据类型
就像其他的很多语言一样，我们可以给已有的变量取一个别名（alias）。即便是对高级语言一样，比如我们定义不同的指针变量，指向同一个内存空间。这个有些类似别名的概念。在Elasticsearch中，我们也可以为index中的一个字段（field）取一个另外的名字：它可以用来代替搜索请求中的目标（target）字段 以及其它的被选定的API中通常alias可以用来帮助我们重新命名一个字段，......
2019-09-02 12:52:42
5892
3
原创 Elasticsearch： Join 数据类型
在Elasticsearch中，Join可以让我们创建parent/child关系。Elasticsearch不是一个RDMS。通常join数据类型尽量不要使用，除非不得已。那么Elasticsearch为什么需要Join数据类型呢？在Elasticsearch中，更新一个object需要root object一个完整的reindex：即使是一个field的一个字符的改变 即便是nest......
2019-09-01 01:13:09
4097
6
02- Elastic Meetup-如何系统化的备战 Elastic认证专家考试 - 铭毅天下 线上 20240918
2024-09-18
01 - 一次生产集群 ES Watcher 失效的深度排查与分析 全过程剖析与解决方案 - 尚雷 线上 20240918
2024-09-18
04-Elasticsearch 运维架构及核心业务场景介绍 - 魏一凡 南京 20240825
2024-08-25
01- Elasticsearch 简单而高效的管道查询语言 - 刘晓国 南京 20240825
2024-08-25
04-十倍性价比蜕变：腾讯云ES全新架构助力日志场景降本增效 - 陈曦 深圳 20240727
2024-07-27
03-未来运维之道- Elastic Al助手的高效运维与数据智能 - 李捷 深圳 20240727
2024-07-27
02-腾讯云 ES8 新一代高性能高精度 RAG 向量检索引擎 - 黄国航 深圳 20240727
2024-07-27
01- Elasticsearch 简单而高效的管道查询语言 - 刘晓国 深圳 20240727
2024-07-27
02-B站Elasticsearch平台实践 王星轶 线上 20240619
2024-06-20
01-Elasticsearch 管道查询语 ESQL 刘晓国 线上 20240619
2024-06-20
04-Elasticsearch Serverless 架构介绍及 DEMO 展示 - 徐胜 上海2025.5.25
2024-05-28
03-Elasticsearch 插件扩展与应用融合 - 李猛 上海 2025.5.25
2024-05-28
02-EElasticsearch 升级和双活架构实践 - 徐胜 上海 2025.5.25
2024-05-28
01-Elasticsearch 管道查询语 ESQL - 刘晓国 上海 2024.5.25
2024-05-28
04 - Elasticsearch+Neo4j在档案领域的探索与实践 - 兰小伟 重庆 2024.4.27
2024-04-29
03 - 未来运维之道 - Elastic Al 助手的高效运维与数据智能 - 李捷 重庆 2024.4.27
2024-04-29
02 - 使用 Elasticsearch 和 Opentelemetry 在 Kubernetes 上打造现代化的可观测性平台
2024-04-29
01 - Elasticsearch 简单而高效的管道查询语言 - 刘晓国 重庆 2024.4.27
2024-04-29
04-小米在 Elasticsearch 服务成本治理的实践-周明裕 武汉 2024.03.30
2024-04-01
03-AI Assistant - 李捷 武汉 2024.03.30
2024-04-01
02-腾讯云 ES 结合 AI 场景的实践与探索 - 刘忠奇 武汉 2024.03.30
2024-04-01
01- Elasticsearch 简单而高效的管道查询语言 - 刘晓国 武汉 2024.03.30
2024-04-01
04-阿里云 Elasticsearch Serverless 低成本弹性能力解读 杭州 1.6 2024
2024-01-08
02-Elasticsearch 8.x 向量搜索使用详解 杭州 1.6 2024
2024-01-08
03-Elasticsearch大宽表应用案例实践探索 杭州 1.6 2024
2024-01-08
01 - Elasticsearch 简单而高效的管道查询语言- ES QL 杭州 1.6 2024
2024-01-08
02-微盟技术沙龙-ES在商品中台的落地 12.21 2023 online
2023-12-22
01-微盟 Elasticsearch 运维实践
2023-12-22
03-Vega 或 Vega-Lite二次开发 Kibana 接口可视化 12.02 2023 Beijing
2023-12-03
01-Elasticsearch Relevance Engine - meetup 11.16 2023
2023-11-17
02-基于Apache SeaTunnel的MySQL到Elasticsearch实时同步解决方案-线上 meetup11.16
2023-11-17
04-腾讯云 Elasticsearch 助力企点业务腾飞 meetup 上海 10.21 2023
2023-10-23
03-腾讯云ES在搜索场景的建设及优化经验分享 meetup 上海 10.21 2023
2023-10-23
02-腾讯云 Elasticsearch 新篇章 meetup 上海 10.21 2023
2023-10-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人