大牛之路

千里之行始于足下

Elasticsearch聚合之bucket桶

存储桶聚合不会像指标聚合那样计算字段上的指标,而是创建存储桶。 每个桶与标准相关联(取决于聚合类型),该标准确定当前上下文中的文档是否“落入”其中。 换句话说,存储桶有效地定义了文档集。 除了桶本身之外,桶聚合还计算并返回“落入”每个桶的文档数 adjacency_matrix adjacency...

2019-07-01 08:51:22

阅读数 161

评论数 0

安装docker报错Hardware assisted virtualization and data execution protection must be enabled in the BIOS

win10安装docker时报错Hardware assisted virtualization and data execution protection must be enabled in the BIOS,这就很奇怪了,明明是在blos已经启用了虚拟硬件了,怎么还会报错呢? 检查是否启用了...

2019-06-20 11:39:18

阅读数 804

评论数 1

Elasticsearch聚合之指标聚合metrics

指标聚合的意思是指此系列中的聚合基于从正在聚合的文档中以某种方式提取的值来计算度量标准。 这些值通常从文档的字段中提取(使用字段数据),但也可以使用脚本生成。例如说数据的平均值,最大值,最小值等等,就是一项统计数据。 基本语法 一般常用的语句是这样的: { "size"...

2019-06-13 11:44:26

阅读数 188

评论数 0

Linux 文件已删除但空间不释放问题

有时候linux磁盘空间已满,手动删除了大文件之后,df查看一下发现空间占用还是100%,这是啥问题呢? 快速解决方案 lsof | grep deleted 使用以上命令可以查看已经删除的文件进程,kill掉之后,空间就能得到释放。 问题现象 服务用不了,mysql插入数据超时堵塞,登录上服务...

2019-06-06 14:14:03

阅读数 371

评论数 0

Elasticsearch滚动查询

滚动查询 当搜索请求返回结果的单个页面时,滚动API可用于从单个搜索请求中检索大量结果。 目前支持滚动查询的客户端只有perl版和python版。 Perl: Search::Elasticsearch::Client::5_0::Bulk and Search::Elasticsearch::C...

2019-05-31 19:09:51

阅读数 124

评论数 0

Elasticsearch查询

Elasticsearch日常操作中最常用的就是查询操作了,查询有分简单查询和复杂查询,简单查询不需要编写查询的结构体,但功能有限。复杂查询支持的功能很多,但是需要编写查询语句,查询语句初学时还是十分痛苦的。 简单查询 简单查询是指仅在普通url请求参数下的查询,例如: GET twitter/t...

2019-05-31 19:09:00

阅读数 105

评论数 0

python字符数字码转换

基础版转换 int(x [,base ]) 将x转换为一个整数 long(x [,base ]) 将x转换为一个长整数 float(x ) 将x转换到一个浮点数 complex(real [,imag ]) 创建一个复数 str(x ) ...

2019-05-31 18:49:18

阅读数 54

评论数 0

Elasticsearch查询计数

Elasticsearch提供了计数的api: count. 计数的话就不会返回实际的字段数据,只会返回一个数量,支持所有查询语句。 示例: GET /twitter/tweet/_count { "query" : { "term"...

2019-05-24 19:03:37

阅读数 262

评论数 0

什么是 go vendor

go vendor 是golang引入管理包依赖的方式,1.5版本开始引进,1.6正式引进。 基本原理 其实就是将依赖的包,特指外部包,复制到当前工程下的vendor目录下,这样go build的时候,go会优先从vendor目录寻找依赖包。 优点 将依赖的外部包引进工程下的vendor目录,可以...

2019-05-17 18:17:33

阅读数 379

评论数 0

python csv文件的操作

python 对csv文件的操作十分简单,几行代码即可搞定csv文件,通常分为读操作和写操作。 读取csv文件 读取普通csv,不带字段名称 示例代码: >>> import csv >>> with open('...

2019-05-10 19:04:04

阅读数 96

评论数 0

ElasticSearch救火神器reindex

在使用es的过程中,有时候不小心在查询的时候应该使用Get操作,却使用了POST操作,这就会导致es的mapping里面多出一个无用的字段。或者在未定义字段类型时提交了新的数据字段,就会导致字段类型与预期的不一致,从而造成许多麻烦。 es是不支持删除单个字段的,尽管可以删除单个字段的所有数据,但是...

2019-05-05 15:22:19

阅读数 54

评论数 0

《从0到1》---程序员应该读点商业书籍

前言 之前这本书突然火起来了,但一直没时间去看,主要是我一般对突然流行的书不太感冒,一般等冷却下来了,再去读。 这个月读完了这本书,觉得写的挺好的,有一些干货,现在整理一下一些印象深刻的片段和想法。 一些印象深刻的点 与众不同 作者开篇就说了一个很重要的点:他在面试的时候总会问一个问题,在什么重要...

2019-04-30 18:42:03

阅读数 25

评论数 0

Multi Get API (多元获取接口)

Elasticsearch提供了一种Multi Get API,可以输入不同的index, doc_type, id, field等多种参数获取位于不同index,不同doc_type等等的记录,这在一些特定场景下比较有用,比如你需要在不同的index里面获取记录,一般做法是分开查询,多次查询。但...

2019-04-26 11:34:42

阅读数 957

评论数 0

Elasticsearch之delete_by_query和update_by_query

delete_by_query delete_by_query方法会删除符合条件的记录,示例如下: POST twitter/(doc_type, 5.x)/_delete_by_query { "query": { "match": { ...

2019-04-25 17:08:13

阅读数 2011

评论数 0

Elasticsearch基本操作之获取

获取是指的是获取指定id的记录,这和查询稍微有些差别,那么在获取记录的过程中有哪些知识点呢? 首先要知道GET twitter/_doc/0就是获取twitter索引中id为0的记录,这就是标准的用法,同时可以使用HEAD twitter/_doc/0判断这条记录是否存在。 实时性 在请求中可以加...

2019-04-19 19:13:49

阅读数 1306

评论数 0

ElasticSearch基本操作之增加

增加的操作一般使用 PUT或者POST twitter/_doc/1(或者不加id,使用默认id) { "user" : "kimchy", "post_date" : "2009-11-15T14:12...

2019-04-19 19:02:32

阅读数 1645

评论数 0

ElasticSearch的API请求知识

支持多个索引同时操作 在平常的api操作请求中,es支持操作多个索引,多个索引之间以逗号分隔,例如:aaa,bbb,ccc等。同时支持通配符模式和排除,例如:aaa*, aa*a, -bbb等 同时支持以下请求参数: ignore_unavailable:是否忽略不可用的索引,例如不存在或者...

2019-04-18 15:02:35

阅读数 926

评论数 0

Elasticsearch滚动升级步骤

Elasticsearch支持滚动升级,这样就不用停服务,当然只限制特定的版本,特定版本之外的就只能重启整个集群了,在升级的过程中,也许要重建索引。 升级前的注意事项 查看要升级的版本对现在业务的影响 检查弃用日志,关注哪些业务或者查询要在升级之后被弃用 注意插件的兼容性 在开发环境或测试环境试...

2019-04-02 18:00:26

阅读数 975

评论数 0

Elasticsearch的引导性检查(bootstrap check)

引导性检查主要检查各种Elasticsearch和系统设置,并与操作安全的值进行对比,需要注意的是,如果es处于开发模式时,检查错误es会报warn日志提醒,但如果是正式生产模式的话,那就直接启动不了了。 开发模式和生产模式 一般es通过检查http.host和transport.host来判断是...

2019-03-26 15:24:00

阅读数 1733

评论数 0

Elasticsearch配置详解

Elasticsearch有三个配置文件,分别是elasticsearch.yml、jvm.options和log4j2.properties.分别用来配置elasticsearch,elasticsearch的jvm和日志。如果安装时选择的是压缩包,那么一般这三个文件都保存在elasticsea...

2019-03-14 20:45:53

阅读数 2265

评论数 0

提示
确定要删除当前文章?
取消 删除