- 博客(74)
- 收藏
- 关注
RSS订阅
翻译 Elasticsearch 7.3.0 翻译 - 《Aggregations》 度量聚合 脚本化度量聚合
脚本化度量聚合(Scripted Metric Aggregation)使用脚本执行以提供度量输出的度量聚合。Example:POST ledger/_search?size=0{ "query" : { "match_all" : {} }, "aggs": { "profit": { "script...
2019-08-28 11:35:45
318
翻译 Elasticsearch 7.3.0 翻译 - 《Aggregations》 度量聚合 加权平均聚合
加权平均聚合单值度量聚合，计算从聚合文档中提取的数值的加权平均值。这些值可以从文档中的特定数字字段中提取。计算常规平均值时，每个数据点都有一个相等的“权重”……，它对最终值的贡献相等。另一方面，加权平均值对每个数据点的权重不同。每个数据点贡献给最终值的量从文档中提取，或由脚本提供。加权平均数公式：∑(value * weight) / ∑(weight)一般的平均值可以看作是加权平...
2019-08-20 16:16:08
320
翻译 Elasticsearch 7.3.0 翻译 - 《Set up Elasticsearch》 安装ElasticSearch-在Linux或MacOS上从存档安装ElasticSearch
通常，任何集群范围的设置（如cluster.name）都应该添加到elasticsearch.yml配置文件中，而任何节点特定的设置（如node.name）都可以在命令行中指定。
2019-08-14 14:33:06
161
翻译 Elasticsearch 7.3.0 翻译 - 《Getting started with Elasticsearch》 搜索数据 - 聚合搜索
聚合搜索聚合提供了从数据中分组和提取统计信息的能力。考虑聚合最简单的方法是大致将其等同于SQL Group By和SQL聚合函数。在ElasticSearch中，您可以执行返回点击数的搜索，同时返回与点击数分离的聚合结果。从某种意义上说，这是非常强大和高效的，您可以运行查询和多个聚合，并一次性获得这两个（或任何一个）操作的结果，避免使用简洁和简化的API进行网络往返。首先，此示例按状态对所...
2019-08-14 10:12:18
200
翻译 Elasticsearch 7.3.0 翻译 - 《Getting started with Elasticsearch》 搜索数据 - 过滤搜索
过滤搜索在上一节中，我们跳过了一个称为文档得分（搜索结果中的_score字段）的小细节。分数是一个数值，它是文档与我们指定的搜索查询匹配程度的相对度量。得分越高，文件越相关，得分越低，文件越不相关。但是查询并不总是需要生成分数，特别是当它们只用于“过滤”文档集时。ElasticSearch检测到这些情况，并自动优化查询执行，以避免计算无用的分数。我们在前一节中介绍的boolquer...
2019-08-14 09:36:10
109
翻译 Elasticsearch 7.3.0 翻译 - 《Getting started with Elasticsearch》 数据修改-批量操作
批量操作除了能够索引、更新和删除单个文档之外，ElasticSearch还提供使用_bulkAPI.I批量执行上述任何操作的能力。此功能非常重要，因为它提供了一种非常有效的机制，可以以尽可能少的网络往返，尽可能快速地执行多个操作。作为一个简单示例，以下调用在一个批量操作中索引两个文档（ID 1-John Doe和ID 2-Jane Doe）：POST /customer...
2019-08-13 15:22:38
151
原创 CountDownLatch与CyclicBarrier的介绍与使用
1.CountDownLatch介绍与使用 2.CyclicBarrier的介绍与使用 3.CountDownLatch与CyclicBarrier的区别CountDownLatch与CyclicBarrier都是jdk并发包里提供的常用工具类，这里只介绍和使用场景。至于想查着两个工具类用法的同学们可能更想了解计算机底层的并发发生的原因，想要更深入的了解，更好的处理并发和编程中可能出现的并发
2017-11-08 00:08:13
450
翻译 Elasticsearch 7.3.0 翻译 - 《Aggregations》 桶聚合 邻接矩阵聚合
邻接矩阵聚合Adjacency Matrix Aggregation桶聚合返回邻接矩阵的形式。该请求提供了一组命名过滤器表达式，类似于过滤器聚合请求。响应中的每个桶表示交叉过滤器矩阵中的非空单元。给定名为A，B和C的过滤器，响应将返回具有以下名称的桶：ABCAAA&BA&CBBB&CCC交叉桶，例如A和C，使...
2019-12-04 11:27:59
486
翻译 Elasticsearch 7.3.0 翻译 - 《Aggregations》 度量聚合 中位数绝对偏差聚合
中位数绝对偏差聚合 Median Absolute Deviation Aggregation示列近似脚本缺省值该单值聚合近似于其搜索结果的中值绝对偏差。中值绝对偏差是衡量变异性的指标。它是一个强大的统计量，这意味着它可用于描述可能具有异常值或可能不是正态分布的数据。对于此类数据，它可能比标准偏差更具描述性。它计算为每个数据点与整个样本中位数偏差的中位数。也就是说，对于随机变量X，中值绝对...
2019-09-09 17:30:16
897
翻译 Elasticsearch 7.3.0 翻译 - 《Aggregations》 度量聚合 值统计聚合
值统计聚合（Value Count Aggregation）Value Count AggregationValue Count Aggregation单值度量标准聚合，用于计算从聚合文档中提取的值的数量。可以从文档中的特定字段提取这些值，也可以通过提供的脚本生成这些值。通常，此聚合器将与其他单值聚合一起使用。例如，当计算平均值时，可能对计算平均值的值的数量感兴趣。POST /sales/_...
2019-09-09 16:09:50
310
转载 Hadoop 2.9.2 单机模式 安装启动
阅读目录一、环境 二、安装jdk 三、配置ssh无密码登录 四、安装Hadoop 启动MapReduce作业运行查看结果 注意（LINUX防火墙打开端口） 宿主机访问页面需要开启端口 常见问题一、环境硬件：虚拟机VMware、win7操作系统：Centos-7 64位主机名： hadoopServerOne安装用户：root软件：jdk1.8.0_181、Ha...
2019-08-30 17:22:20
965
翻译 Elasticsearch 7.3.0 翻译 - 《Aggregations》 度量聚合 最大点击量聚合top hits aggregation
最大点击量聚合（top hits aggregation）选项参数支持每次点击功能示列字段折叠示列top_hits 度量聚合器跟踪正在聚合的最相关文档。此聚合器旨在用作子聚合器，以便每个bucket可以聚合顶部匹配的文档。Top_Hits聚合器可以有效地用于通过Bucket聚合器按特定字段对结果集进行分组。一个或多个bucket聚合器确定将结果集切片到哪个属性中。选项参数fron - 与...
2019-08-29 16:22:53
910
翻译 Elasticsearch 7.3.0 翻译 - 《Aggregations》 度量聚合 汇总聚合
汇总聚合（sum Aggregation）脚本脚本值缺省值单值度量聚合，汇总从聚合文档中提取的数值。这些值可以从文档中的特定数字字段中提取，也可以由提供的脚本生成。假设数据由代表销售记录的文档组成，我们可以将所有帽子的销售价格加上：POST /sales/_search?size=0{ "query" : { "constant_score" : { ...
2019-08-28 15:14:58
373
翻译 Elasticsearch 7.3.0 翻译 - 《Aggregations》 度量聚合 状态聚合
状态聚合 states Aggregation脚本脚本值缺省值多值度量聚合，计算从聚合文档中提取的数值的统计信息。这些值可以从文档中的特定数字字段中提取，也可以由提供的脚本生成。返回的统计信息包括：最小值、最大值、总和、计数和平均值。假设数据由代表学生考试成绩（0到100）的文档组成POST /exams/_search?size=0{ "aggs" : { "g...
2019-08-28 14:58:02
202
翻译 Elasticsearch 7.3.0 翻译 - 《Aggregations》 度量聚合 百分位数聚合
百分比排名聚合多值度量聚合，计算从聚合文档中提取的数值的一个或多个百分位数排名。这些值可以从文档中的特定数字字段中提取，也可以由提供的脚本生成。注意：有关百分比排名聚合的近似值和内存使用的建议，请参阅百分比是（通常）近似值和压缩值。百分位等级表示低于某一数值的观测值的百分比。例如，如果一个值大于或等于观察值的95%，则称其处于第95百分位等级。假设您的数据由网站加载时间组成。您可能...
2019-08-26 15:08:30
372
翻译 Elasticsearch 7.3.0 翻译 - 《Aggregations》 度量聚合 百分位数聚合
百分位数聚合多值度量聚合，计算从聚合文档中提取的数值的一个或多个百分位数。这些值可以从文档中的特定数字字段中提取，也可以由提供的脚本生成。百分位数表示观察值的某个百分比出现的点。例如，95%是大于观察值95%的值。百分位数通常用于查找异常值。在正态分布中，0.13%和99.87%表示与平均值的三个标准差。任何超出三个标准差的数据通常被视为异常。当检索到一个百分位数范围时，它们可以用...
2019-08-26 14:31:47
419
翻译 Elasticsearch 7.3.0 翻译 - 《Aggregations》 度量聚合 最大聚合/最小聚合
最大聚合单值度量聚合，跟踪并返回从聚合文档中提取的数值中的最大值。这些值可以从文档中的特定数字字段中提取，也可以由提供的脚本生成。提示：最小和最大聚合对数据的双重表示进行操作。因此，当在绝对值大于2^53的多头上运行时，结果可能是近似的。计算所有文档的最大价格值:POST /sales/_search?size=0{ "aggs" : { "max_pr...
2019-08-23 15:08:41
208
翻译 Elasticsearch 7.3.0 翻译 - 《Aggregations》 度量聚合 地球质心聚集
地球质心聚集从地理点字段的所有坐标值计算加权形心的度量聚合。PUT /museums{ "mappings": { "properties": { "location": { "type": "geo_point" } } }}POST /museums...
2019-08-23 14:50:17
237
翻译 Elasticsearch 7.3.0 翻译 - 《Aggregations》 度量聚合 地理边界聚合
地理边界聚合计算包含字段所有地理点值的边界框的度量聚合。例如：PUT /museums{ "mappings": { "properties": { "location": { "type": "geo_point" } } }}POST /muse...
2019-08-23 11:54:30
142
翻译 Elasticsearch 7.3.0 翻译 - 《Aggregations》 度量聚合 扩展状态聚合
扩展状态聚合多值度量聚合，计算从聚合文档中提取的数值的统计信息。这些值可以从文档中的特定数字字段中提取，也可以由提供的脚本生成。extended_stats聚合是统计聚合的扩展版本，其中添加了额外的度量，如平方和、方差、标准偏差和标准偏差界限。假设数据由代表学生考试成绩（0到100）的文档组成GET /exams/_search{ "size": 0, "aggs":...
2019-08-23 11:21:09
199
翻译 Elasticsearch 7.3.0 翻译 - 《Aggregations》 度量聚合 基数聚合
基数聚合计算不同值的近似计数的单个值度量聚合。值可以从文档中的特定字段中提取，也可以由脚本生成。假设您正在为商店销售编制索引，并希望计算与查询匹配的已售出产品的唯一数量：POST /sales/_search?size=0{ "aggs" : { "type_count" : { "cardinality" : { ...
2019-08-23 10:49:33
224
翻译 Elasticsearch 7.3.0 翻译 - 《Aggregations》 度量聚合 avg聚合
avg聚合单值度量聚合，计算从聚合文档中提取的数值的平均值。这些值可以从文档中的特定数字字段中提取，也可以由提供的脚本生成。假设数据由代表学生考试成绩（0到100）的文档组成，我们可以用以下公式对他们的分数进行平均：POST /exams/_search?size=0{ "aggs" : { "avg_grade" : { "avg" : { "field"...
2019-08-20 14:49:18
289
翻译 Elasticsearch 7.3.0 翻译 - 《Aggregations》 度量聚合
度量聚合此系列中的聚合基于以某种方式从要聚合的文档中提取的值计算度量。这些值通常从文档的字段中提取（使用字段数据），但也可以使用脚本生成。数字度量聚合是一种特殊类型的度量聚合，它输出数值。一些聚合输出单个数字度量（例如avg），称为单值数字度量聚合，其他聚合生成多个度量（例如stats），称为多值数字度量聚合。当这些聚合用作某些存储桶聚合的直接子聚合时，单值和多值数字度量聚合之间的区别起到了一...
2019-08-19 11:46:38
309
2
翻译 Elasticsearch 7.3.0 翻译 - 《Aggregations》
聚合聚合框架有助于根据搜索查询提供聚合数据。它基于称为聚合的简单构建块，这些构建块可以组成以构建复杂的数据摘要。聚合可以看作是在一组文档上构建分析信息的工作单元。执行上下文定义此文档集是什么（例如，顶级聚合在搜索请求的已执行查询/筛选器的上下文中执行）。聚合有许多不同的类型，每种类型都有自己的目的和输出。为了更好地理解这些类型，通常更容易将它们分为四大类：桶聚合构建存储桶的聚合...
2019-08-19 11:33:30
208
翻译 Elasticsearch 7.3.0 翻译 - 《Set up Elasticsearch》 重要的系统配置 配置系统设置
配置系统设置需要怎么设置系统配置取决于 你使用了什么安装包，你使用了什么操作系统当你使用.zip或者.tar.gz包，系统可以这样配置：临时使用 ulimit 命令 使用/etc/security/limits.conf设置永久生效当你使用 RPM 或者Debian 分发包的时候，更多的系统配置是在系统配置文件中的，然而，但是，使用systemd的系统要求在systemd配置文件...
2019-08-19 10:50:36
197
翻译 Elasticsearch 7.3.0 翻译 - 《Set up Elasticsearch》 重要的Elasticsearch配置 临时目录
临时目录默认情况下，ElasticSearch使用启动脚本直接在系统临时目录下创建的专用临时目录。在一些Linux发行版上，如果文件和目录最近没有被访问，系统实用程序将从/tmp中清除它们。如果长时间不使用需要临时目录的功能，这可能导致在运行ElasticSearch时删除私有临时目录。如果随后使用了需要临时目录的功能，则会导致问题。如果使用.deb或.rpm包安装elasticsea...
2019-08-19 10:05:01
396
翻译 Elasticsearch 7.3.0 翻译 - 《Set up Elasticsearch》 重要的系统配置
重要的系统配置理想情况下，ElasticSearch应该单独在服务器上运行，并使用所有可用的资源。为此，需要将操作系统配置为允许运行ElasticSearch的用户访问超过默认允许的资源。在开始生产之前，必须考虑以下设置： 禁用交换 增加文件描述符 确保足够的虚拟内存 确保足够多的线程 JVM DNS缓存配置 临时目录未装入noexec...
2019-08-19 10:04:33
153
翻译 Elasticsearch 7.3.0 翻译 - 《Set up Elasticsearch》 重要的Elasticsearch配置 JVM致命错误日志
JVM致命错误日志默认情况下，elasticsearch 把 JVM致命错误日志放在默认文件夹里面（/var/log/elasticsearch） 为RPM和Debian分发包，tar和zip分发包，记录在Elasticsearch 安装的根目录下的logs文件夹下面。这些是当JVM遇到致命错误（例如分段错误）时由它生成的日志。如果此路径不适合接收日志，则应修改条目-xx:erro...
2019-08-19 10:04:22
129
翻译 Elasticsearch 7.3.0 翻译 - 《Set up Elasticsearch》 重要的Elasticsearch配置 GC日志
GC日志默认情况下，ElasticSearch启用GC日志。它们在jvm.options中配置，并默认为与elasticsearch日志相同的默认位置。默认配置每64MB转动一次日志，最多可占用2GB的磁盘空间。...
2019-08-19 10:03:18
516
翻译 Elasticsearch 7.3.0 翻译 - 《Set up Elasticsearch》 重要的Elasticsearch配置 JVM堆dump路径
JVM堆dump路径默认情况下，elasticsearch将jvm配置为将内存不足异常的堆转储到默认数据目录（这是/var/lib/elasticsearch，用于RPM和Debian包分发，以及用于tar和zip存档数据的elasticsearch安装根目录下的数据目录）。分配）。如果此路径不适合接收堆转储，则应修改条目-xx:heapDumpPath=…在jvm.options中。如果指定...
2019-08-16 16:52:23
272
翻译 Elasticsearch 7.3.0 翻译 - 《Set up Elasticsearch》 重要的Elasticsearch配置 设置堆大小
设置堆大小默认情况下，ElasticSearch告诉JVM使用最小和最大大小为1GB的堆。当转移到生产环境时，配置堆大小以确保ElasticSearch具有足够的堆可用性是很重要的。ElasticSearch将通过xms（最小堆大小）和xmx（最大堆大小）设置分配jvm.options中指定的整个堆。您应该将这两个设置设置设置为相等。这些设置的值取决于服务器上可用的RAM大小： ...
2019-08-16 15:57:20
226
翻译 Elasticsearch 7.3.0 翻译 - 《Set up Elasticsearch》 重要的Elasticsearch配置 发现和集群形成设置
发现和集群形成设置在进入生产之前，应该配置两个重要的发现和集群形成设置，以便集群中的节点可以彼此发现并选择主节点。discovery.seed_hosts在没有任何网络配置的情况下，ElasticSearch将绑定到可用的环回地址，并扫描本地端口9300到9305，以尝试连接到同一服务器上运行的其他节点。这提供了一种自动集群的体验，而无需进行任何配置。当您要与其他主机上的节点组成群...
2019-08-16 15:41:22
186
翻译 Elasticsearch 7.3.0 翻译 - 《Set up Elasticsearch》 重要的Elasticsearch配置 网络地址
网络地址(network.host)默认情况下，ElasticSearch仅绑定到环回地址-，例如127.0.0.1和[：：1]。这足以在服务器上运行单个开发节点。提示：事实上，可以从单个节点上相同的$ES_HOME位置启动多个节点。这对于测试ElasticSearch形成集群的能力很有用，但它不是推荐用于生产的配置。为了与其他服务器上的节点组成集群，您的节点需要绑定到非环回地址。虽...
2019-08-16 15:07:27
256
翻译 Elasticsearch 7.3.0 翻译 - 《Set up Elasticsearch》 重要的Elasticsearch配置 节点名字
节点名字ElasticSearch使用node.name作为特定ElasticSearch实例的可读标识符，因此它包含在许多API的响应中。它默认为启动ElasticSearch时计算机拥有的主机名，但可以在ElasticSearch.yml中显式配置，如下所示：node.name: prod-data-2过于简短，只是翻译...
2019-08-16 15:00:12
184
翻译 Elasticsearch 7.3.0 翻译 - 《Set up Elasticsearch》 重要的Elasticsearch配置 集群名字
集群名字节点只能在与集群中的所有其他节点共享cluster.name时加入集群。默认名称是ElasticSearch，但您应该将其更改为描述集群目的的适当名称。cluster.name: logging-prod请确保不要在不同的环境中重用相同的集群名称，否则最终可能会导致节点加入错误的集群。...
2019-08-16 14:58:16
133
翻译 Elasticsearch 7.3.0 翻译 - 《Set up Elasticsearch》 重要的Elasticsearch配置 path.data和path.logs
path.data和path.logs如果您使用的是.zip或.tar.gz归档文件，那么data和logs目录是$es_home的子文件夹。如果将这些重要文件夹保留在其默认位置，则在将ElasticSearch升级到新版本时，删除这些文件夹的风险很高。在生产使用中，您几乎肯定希望更改数据和日志文件夹的位置：path: logs: /var/log/elasticsearch ...
2019-08-16 14:47:49
919
转载 Elasticsearch 7.3.0 翻译 - 《Set up Elasticsearch》 重要的Elasticsearch配置
重要的Elasticsearch配置虽然ElasticSearch只需要很少的配置，但在投入生产之前需要考虑一些设置。在开始生产之前，必须考虑以下设置：路径设置 集群名字 网络主机 发现设置 堆大小 堆转储路径 GC 日志 临时目录 ...
2019-08-16 14:42:37
71
翻译 Elasticsearch 7.3.0 翻译 - 《Set up Elasticsearch》 配置Elasticsearch--监控设置
监控设置默认情况下，启用监控，但禁用数据收集。要启用数据收集，请使用xpack.monitoring.collection.enabled设置。您可以在elasticsearch.yml文件中配置这些监控设置。您还可以使用集群更新设置API动态设置其中一些设置。提示：集群设置优先于elasticsearch.yml文件中的设置。要调整监控用户界面中监控数据的显示方式，请在kiban...
2019-08-16 14:36:28
461
翻译 Elasticsearch 7.3.0 翻译 - 《Set up Elasticsearch》 配置Elasticsearch--机器学习设置
机器学习设置使用机器学习不需要配置任何设置。默认情况下启用。重要：机器学习使用SE4.2指令，因此只在支持SE4.2的机器上工作。如果你在旧硬件上运行Elasticsearch，你必须切断机器学习（设置Xpack.ml.enabled to false）。所有这些设置都可以添加到elasticsearch.yml配置文件中。还可以使用集群更新设置API跨集群更新动态设置。提示：动...
2019-08-16 09:26:31
411
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人