elasticsearch
文章平均质量分 54
山鬼谣me
我的这一生
展开
-
Elasticsearch学习笔记:MUST_NOT not working with EXIST in NESTED query
环境elasticsearch:6.7嵌套查询中字段不存在如下:POST players/players/_search{ "query": { "bool": { "filter": [ { "nested": { "path": "features", "query": { "bool": {原创 2022-01-13 11:00:12 · 1441 阅读 · 0 评论 -
elasticsearch学习总结:排序问题
排序的写法:HEAD插件的写法:index/_search POST{ "from": 0, "size": 20, "query": { "range": { "createdAt": { "gte": "1623686400000" } } }, "sort": [ { "lastTime": { "order": "desc", "missing" : "_last"原创 2021-07-15 22:57:29 · 1650 阅读 · 3 评论 -
elasticsearch 查询基本结构 数组查询 对象查询 字段是否存在 是否为空
基本结构{ "query":{ "bool":{ "must":{ }, "must_not":{}, "filter":{}, "should":{}, "should_not":{} } }}数组查询{ "query":{ "nested":{ "path":"firm_app"原创 2021-07-13 21:03:46 · 2828 阅读 · 2 评论 -
skywalking7 + elasticsearch7 搭建性能监视工具单机版
环境MacBook ProJava:1.8skywalking:7.0.0elasticsearch:7.6.2前言公司有一套查看日志的工具,基于kibana+es搭建的日志系统,但是,在微服务中,某次请求,会涉及多个微服务的调用,公司使用的是SDK去调服务的,当请求异常时,只能根据相应的请求URL去不断搜索日志。skywalking的作用就是可以已更直观的界面,已请求链的方式去...原创 2020-04-17 14:21:03 · 12441 阅读 · 9 评论 -
介绍elasticsearch中Mapping
这篇文件介绍elasticsearch中mapping特性。我们会定义其关键术语,并进一步介绍mapping是什么,什么时候指定它,其结果是怎样的和我们如何应用到我们的数据中。Schema是什么schema翻译为模式 mapping 翻译为映射模式是一个或多个字段的描述,描述文档的类型以及如何处理文档的不同字段。在elasticsearch中schema是mapping,其用于描述在json文档中翻译 2017-10-25 10:42:04 · 750 阅读 · 0 评论 -
elasticsearch for java 认证连接
环境服务器:centos6 elasticsearch:5+ java:1.8 工具:CRT步骤刚开始我是参照官网的来:Transport Client代码如下:package elasticsearch.estutorial;//import 省略。。。public class EsUtils { public static TransportClient connectionEs()原创 2017-12-01 21:38:33 · 6641 阅读 · 1 评论 -
elasticsearch 启动时,指定jdk的版本
环境服务器:centos6 操作系统:win7 工具:CRT elasticsearch:6.0.0场景拿我公司举例,我公司目前都是使用jdk1.7,并且线上已经有很多程序在跑啦!所以通过修改环境的方式,肯定是不行,而启动elasticsearch.6.0,有需要jdk8修改启动脚本这种情况下,我们就需要在启动elasticsearch时,就需要指定jdk版本。 即修改elasticsear原创 2017-12-02 20:32:32 · 27235 阅读 · 3 评论 -
elasticsearch 安装 x-pack 后重新生成密码的方法
环境服务器:centos6 操作系统:win7 工具:CRT elasticsearch:6.0.0命令[yutao@master01 elasticsearch-6.0.0]$ bin/x-pack/setup-passwords autoInitiating the setup of reserved user elastic,kibana,logstash_system pass原创 2017-12-02 23:52:23 · 14523 阅读 · 6 评论 -
centos6安装elasticsearch6错误笔记
环境服务器:centos6 elasticsearch:6 工具:CRT 操作系统:win7场景想装个elasticsearch6错误seccomp unavailable: requires kernel 3.5+java.lang.UnsupportedOperationException: seccomp unavailable: requires kernel 3.5+ with CO原创 2017-12-02 21:22:36 · 9850 阅读 · 2 评论 -
elasticsearch 源码简单分析之【tmp目录】
环境服务器:centos6 elasticsearch: 6.0.0 工具:CRT 操作系统:win7疑惑[yutao@master01 elasticsearch-6.0.0]$ bin/elasticsearch-plugin install file:///home/yutao/download/x-pack-6.0.0.zip -> Downloading file:///home/y原创 2017-12-03 16:21:45 · 2440 阅读 · 0 评论 -
OpenSSL自签发配置有多域名或ip地址的证书
环境翻译加实践概述HTTPS服务是工作在SSL/TLS上的HTTP。 首先简单区分一下HTTPS,SSL ,TLS ,OpenSSL这四者的关系:SSL:(Secure Socket Layer,安全套接字层)是在客户端和服务器之间建立一条SSL安全通道的安全协议;TLS:(Transport Layer Security,传输层安全协议),用于两个应用程序之间提供保密性和数据完整性;TLS原创 2017-12-12 22:38:45 · 38989 阅读 · 2 评论 -
elasticsearch之x-pack破解
环境操作系统:win7 虚拟机:centos7 工具:CRT概要4月份的时候,我在虚拟机里安装了两个elasticsearch和kibana,并且都安装了x-pack。那个时候,下面两个连接都是可以访问的: 查看集群信息: http://192.168.116.19:9200/_cluster/health?pretty=true利用kibana图形化界面查看集群:http://192.16原创 2017-06-29 20:30:07 · 25083 阅读 · 25 评论 -
org.elasticsearch.action.search.SearchPhaseExecutionException
环境elasticsearch:1.2.7 java:.7前言纯属做笔记场景需求:有新闻库、公告库、研报库、都是es库;需要同时查着三张表,并排好序; 在执行时,报错了;以下是我打日志的查询条件:(((create_date:[2004-12-31T16:00:00.000Z TO *] AND ((_exists_:pro_org AND _exists_:pr...原创 2018-03-28 15:16:49 · 7830 阅读 · 0 评论 -
elasticsearch 官方文档一个小错误
环境elasticsearch:6.2.3 java:1.8场景最近又开始折腾elasticsearch了,参考官网文档这一段时: Configuring ElasticsearchES_PATH_CONF=/path/to/my/config ./bin/elasticsearch#我的路径ES_PATH_CONF=/home/yutao/programe/elast...原创 2018-05-03 21:54:07 · 618 阅读 · 0 评论 -
API Conventions【Common optionsedit】常见选项
环境elasticsearch 6.2前言翻译 原文地址:https://www.elastic.co/guide/en/elasticsearch/reference/current/common-options.htmlDate Math接收格式化日期值的大多数参数可以通过 – 例如: 在range queries 中范围查询的gt和lt, 或者 在datera...翻译 2018-05-05 23:59:51 · 353 阅读 · 0 评论 -
centos7中安装elasticsearch5.2
环境操作系统: centos7 elasticsearch:5.2.2安装步骤我采用的是下载压缩包的方式安装,也可以利用rpm来安装,但是,这样会把配置文件和数据文件,弄到各个不同的目录,这我很不喜欢。我喜欢像window目录一样,都在一起。先安装Java8+由于elasticsearch是用Java写的,所以需要安装至少Java8以上版本。 安装方法,可以参考官网。下载elasticsearc原创 2017-03-12 18:02:23 · 5144 阅读 · 0 评论 -
gitbook asciidoc 项目生成PDF 教程
环境操作系统: win7 npm: 3.10.10需求今天在gitbook看elasticsearch权威指南时,发现与官网的有些不一样,或者说官网上的中文文档依然有些错别字或者翻译不对的地方。而gitbook上的源码目前视乎还在更新,但是源码看起来又特难受,于是乎我就折腾怎样将其生成为PDF文件来看。折腾一晚上总于又眉目啦步骤①安装好gitbook环境 ②将gitbook项目源码;也就是Git原创 2017-11-01 21:50:33 · 4546 阅读 · 3 评论 -
Elasticsearch Reference【Mapping】
环境elasticsearch:5.6映射(Mapping)映射是定义什么样的文档、包含什么字段、如何存储和如何索引的过程。 例如,使用映射来定义:哪些字符串字段应该被看做全文本字段。哪些字段包含数字、日期和地理位置。在文档中所有的字段的值是否应该被索引包含到_all字段中。日期格式的值。自定义规则来定义动态添加字段的映射。映射类型(Mapping Types)个人说明:之前的译文中解翻译 2017-11-03 18:10:02 · 434 阅读 · 0 评论 -
elasticsearch for java之Document APIs【增删改查】
环境虚拟机:centos7 操作系统:win7 elasticsearch:5.4.3Index APIIndex API 允许索引(插入)一个json类型的文档到指定的索引并使其能被搜索到。生成json文档这里有几种不同的方式来生成json文档: ①手动(自己去拼接)使用本机byte[]或者是String。 ②可以使用自动转换为json的等价物,即Map。 ③使用第三方库来序列化你的be原创 2017-07-10 17:31:07 · 3907 阅读 · 0 评论 -
elasticsearch 批量导入数据
环境虚拟机:centos7 操作系统:win7 elasticsearch:5.4.3摘要假设你有一批现成的数据,比如:这里,你先把其复制保存在文件名为accounts.json的文件中。这里特别注意最后一行数据一定要有换行,否则最后那条数据不会插入数据库。上传文件把accounts.json文件上传到服务器。(我默认你是启动了elasticsearch服务的)接着在accounts.json目原创 2017-07-11 15:10:34 · 4028 阅读 · 0 评论 -
elasticsearch之Document APIs【Reading and Writing documents】
文档的读与写介绍在elasticsearch中的每个索引都进行了分片并且每个索引都有多个副本。 这些副本叫做副本组并且当添加或删除文档时必须要进行同步。 如果我们没有这么做的话,从其中一个副本读取的数据将会与其他副本读取到的数据会有所不同。保持副本分片同步并从中读取的过程,我们称为数据副本模型(data replication model)。elasticsearch的数据副本模型是基于主备份模原创 2017-07-13 18:00:37 · 470 阅读 · 0 评论 -
elasticsearch for java【教程一Client】
环境虚拟机:centos7 操作系统:win7 elasticsearch:5.4.3Transport Client 传输客户端TransportClient使用传输模块远程连接到elasticsearch集群。它不会加入集群,而是简单的获取一个或多个初始传输地址,并且以循环的方式与每个动作进行通信。(尽管大多数操作可能是two hop操作)。// on startupTransportCli原创 2017-07-06 20:27:26 · 867 阅读 · 0 评论 -
elasticsearch之模块【节点】
环境虚拟机:centos7 操作系统:win7 elasticsearch:5.4.3node任何时候 你要启动一个elasticsearch实例,你得先启动一个节点。 连接节点的集合叫做集群。如果你运行一个节点,那么你将拥有一个单节点集群。集群中的每个节点都可以在默认的情况下处理HTTP和传输流量。 传输层是专门为Java 传输客户端(TransportClient)和节点进行通信的。原创 2017-07-06 23:36:25 · 1220 阅读 · 0 评论 -
elasticsearch 【Basic Concept】基本概念
环境虚拟机: centos7 操作系统:win7 elasticsearch:5.4.3 kibana:5.4.3基本概念这些都是elasticsearch核心的基本概念,从一开始就理解这些概念的话,将能极大的帮助缓解学习进程。近实时(NRT)elasticsearch是近实时搜索。这意味着从你索引(创建)一个文档到能够被索引会有一点延迟(通常是1秒)。集...原创 2017-07-06 16:29:59 · 606 阅读 · 0 评论 -
elasticsearch之Document APIs【Multi Get API】
环境elasticsearch:5.5Multi Get APIMulti Get API 允许基于index,type(可选),id(或者是路由)来获取多个文档。 抓取到的所有文档都包含在响应字段docs里面,该字段是个数组,每个元素与get api获取的文档都有相似的结构。GET _mget{ "docs":[ { "_index":"bank", "_t翻译 2017-08-16 16:41:58 · 447 阅读 · 0 评论 -
elasticsearch之Document APIs【Index API】
环境虚拟机:centos7 操作系统:win7 elasticsearch:5.4.3Index APIIndex API 是添加或更新在指定索引中添加或者更新json类型的文档。 下面的例子是插入json文档,到索引名(数据库)为:twitter、类型(表名):tweet、id为:1PUT twitter/tweet/1{ "user" : "kimchy", "post_原创 2017-07-14 17:56:43 · 1245 阅读 · 0 评论 -
elasticsearch之Document APIs【Get API】
环境虚拟机:centos7 操作系统:win7 elasticsearch:5.5Get APIget API允许你从索引(数据库)中通过id来查询得到json类型的文档。 下面的例子是从名为twitter的数据库中的一个叫tweet表中查询id为0的json文档。GET twitter/tweet/0结果如下:{ "_index" : "twitter", "_type" :原创 2017-07-21 18:04:18 · 413 阅读 · 0 评论 -
elasticsearch之Document APIs【Scroll】
scroll一个搜索请求返回“一页”的结果,scroll api 可以用于从一次请求中提取大量的数据结果(甚至是全部结果), 类似于传统数据库的cursor游标。Scrolling不适用于即时搜索请求,而是适用于处理大量数据, 例如:把一个索引(即:数据库)中的内容重新索引到一个配置不同的新的索引(即:数据库)中去。为了使用scrolling,原始搜索请求应该指定查询字符串scroll参数,其告翻译 2017-08-14 22:56:49 · 1171 阅读 · 0 评论 -
elasticsearch之Document APIs【Bulk API】
环境elasticsearch:5.5Bulk APIbulk API 可以在一次api调用中执行多个index/delete操作。这大大增加了索引(插入)速度。REST API 是以/_bulk结尾,则其希望下面换行结果的json格式:action_and_meta_data\noptional_source\naction_and_meta_data\noptional_source\n翻译 2017-08-17 14:08:33 · 867 阅读 · 0 评论 -
elasticsearch之Document APIs【Delete API】
环境虚拟机:centos7 操作系统:win7 elasticsearch:5.5Delete APIdelete api 允许从基于id的指定的数据库中删除json类型的文档。 下面的例子是从数据库twitter中的表名为tweet中删除id为1的文档:DELETE /twitter/tweet/1结果为:{ "_shards" : { "total" : 2,原创 2017-07-24 17:19:24 · 464 阅读 · 0 评论 -
elasticsearch之Document APIs【Delete By Query API】
环境虚拟机:centos7 操作系统:win7 elasticsearch:5.5Delete By Query API_delete_by_query 的简单用法,就是在查询匹配到的每个文档上执行删除。例如:POST twitter/_delete_by_query{ "query": { ① "match": { "message": "some message"原创 2017-07-28 17:42:57 · 8932 阅读 · 0 评论 -
elasticsearch之Document APIs【Update API】
环境elasticsearch:5.5Update APIupdate API 允许提供一个脚本来更新文档,该操作会从相应的索引(即数据库)中获得文档(具体点:从相应的分片中获取)。运行脚本(脚本语言和参数是可选的),并且返回索引结果(也允许删除或者忽视该操作)。使用版本号来确保在get和reindex期间没有更新发生。注意,这个操作仍然意味着文档需要完整的重新索引,it just removes翻译 2017-08-15 17:31:01 · 4077 阅读 · 1 评论 -
elasticsearch内部原理自我总结
环境elasticsearch:5.5自我理解对于elasticsearch我自己也是新手,只是想做点笔记,记录下自己的理解。我一直想明白当一个文档被索引进elasticsearch时,其内部干什么了? 本人结合网上的教程,记录下倒排索引一个新文档要使其可见,需要使用倒排索引,其长相如下: 词项 文档1 文档2 文档3 … 中国 X X … 小米 X原创 2017-08-29 17:02:31 · 719 阅读 · 1 评论 -
elasticsearch之Document APIs【Reindex API】
环境elasticsearch:5.5Reindex API重要 Reindex不会尝试设置目标索引(即数据库)。它不会复制源索引的设置。你应该在运行_reindex操作之前设置目标索引,包括设置mappings,分片的数量,副本等待。_reindex 的最基本形式是把一个索引中的文档复制到另一个索引中。下面的例子是将twitter索引(即:数据库)中的文档复制到new_twitter索引中:翻译 2017-08-18 18:36:13 · 1245 阅读 · 0 评论 -
centos7中配置elasticsearch集群和离线安装x-pack
环境操作系统:win7 虚拟机:centos7 elasticsearch:5.2.2步骤前提条件由于我是自己学习用,笔记本的内存有限,所以想在一台虚拟机中配置集群。 我虚拟机的情况是,已经安装好了elasticsearch、kibana、x-pack.网上的一般做法是把已经安装好得elasticsearch目录再复制一遍,而我呢!由于保存了安装包,所以又重新解压了一份并且重命名为elasti原创 2017-04-05 21:01:00 · 12162 阅读 · 0 评论