Elasticsearch
文章平均质量分 66
小强签名设计
真正牛逼的生活是既可以朝九晚五又可以浪迹天涯。
展开
-
Elasticsearch命令(curl)大全
转载请标明原地址:测试环境:Centos7.2 64位jdk1.8.0_91elasticsearch-2.2.0CURL命令– 简单认为是可以在命令行下访问url的一个工具– curl是利用URL语法在命令行方式下工作的开源文件传输工具,使用curl可以简单实现常见的get/post请求。– -x 指定http请求的方法(HEAD GET原创 2017-10-13 17:46:57 · 5363 阅读 · 0 评论 -
Elasticsearch Ingest-Attachment
一、简介ElasticSearch只能处理文本,不能直接处理文档。Ingest-Attachment是一个开箱即用的插件,替代了较早版本的Mapper-Attachment插件,使用它可以实现对(PDF,DOC,EXCEL等)主流格式文件的文本抽取及自动导入。思考:在处理xls和xlsx格式的时候,无法将sheet分开索引,只能将整个文件当做一个文档插入es中。目前没有想到什么好的方法。El...原创 2019-01-13 15:40:06 · 8653 阅读 · 1 评论 -
Elasticsearch的DSL操作命令大全(二)
文章目录奇葩需求:es内置的分词器:修改mapping:重构索引:奇葩需求:1.按照论坛名称,对论坛评论总量,1-5月按月聚合 相对应字段为cmtCnt按照论坛名称,对论坛发帖点赞量,1-5月按月聚合 相对应字段为adtCntGET xiao-2018-4-1,xiao-2018-6-12,xiao-2018...原创 2018-11-14 22:14:06 · 2488 阅读 · 0 评论 -
Elasticsearch遇到的坑
问题描述:手机APP端两个用户同时评论一篇文章该篇文章的评论量只增加了1。   问题代码:XContentBuilder updateSource = XContentFactory.jsonBuilder().startObject() .field(&am原创 2018-09-11 22:58:31 · 23676 阅读 · 0 评论 -
Elasticsearch查询相关参数
java api示例: SearchRequestBuilder request = getTransportClient().prepareSearch(indexName).setTypes(type).setRouting(routing) .setSearchType(SearchType.DFS_QUERY_THEN_FETCH).se...原创 2018-09-11 16:37:53 · 4486 阅读 · 0 评论 -
Elasticsearch的DSL操作命令大全(一)
以下执行命令都是基于阿里es提供的kibana。前言:以前在服务器上直接使用curl命令就可以进行es的查询,后来公司用了阿里的es后,在阿里给的服务器上执行命令居然会报错[root@Alihui ~]# curl -XGET es-cn-huiiiiiiiiiiiii.elasticsearch.aliyuncs.com:9200{&a原创 2018-09-04 18:26:36 · 9631 阅读 · 0 评论 -
搭建一个简单的日志实时分析平台---ELK
一、前言 人们常常说数据如金,可是,能被利用起的数据,才是“金”。而互联网的数据,常常以日志的媒介的形式存在,并需要从中提取其中的"数据"。 从这些数据中,我们可以做用户画像(每个用户都点了什么广告,对哪些开源技术感兴趣),安全审计,安全防护(如果1小时内登录请求数到达一定值就报警),业务数据统计(如开源中国每天的博客数是多少,可视化编辑格式和markdown格式各占比例是多少)等等。...原创 2018-01-09 16:48:46 · 9133 阅读 · 0 评论 -
Elasticsearch对Hbase中的数据建索引实现海量数据快速查询
我已将项目代码上传,地址https://github.com/xiazi123/Test一、将项目导入myeclipse中方法1:将下载好的文件(是解压es_hbase6文件夹而不是Test-master)解压到你myeclipse的Workspaces目录中,然后在myeclipse中右键点击Import导入项目方法2:将下载好的文件解压到你的Windows桌面,然后在myeclipse(我这里...原创 2017-09-19 14:33:44 · 25910 阅读 · 11 评论 -
Flume或Kafka和Elasticsearch整合
前言:我这里是在Centos7.2 64位单机做的测试安装elasticsearch的时候不应该安装在root用户下,否则启动会报错:Exception in thread "main" java.lang.RuntimeException: don't run elasticsearch as root. at org.elasticsearch.bootstrap.原创 2017-10-11 15:44:43 · 3970 阅读 · 0 评论 -
Elasticsearch自定义插件
检索引擎Elasticsearch支持插件模式,有些时候你可能需要安装一些插件,甚至自己开发插件,这里就提供一个开始ES插件开发示例,ES版本为2.2.0。自定义插件类继承org.elasticsearch.plugins.PluginHelloWorldPlugin:package org.elasticsearch.plugin.helloworld;i转载 2017-10-12 17:14:03 · 2610 阅读 · 0 评论 -
Elasticsearch搜索中的部分匹配
本文绝大部分内容来自http://www.cnblogs.com/huanxiyun/articles/5890897.html,其中部分内容做了添加和修改。摘要到目前为止,我们介绍的所有查询都是基于完整术语的,为了匹配,最小的单元为单个术语,我们只能查找反向索引中存在的术语。但是,如果我们想匹配部分术语而不是全部改怎么办?部分匹配(Partial matching)允许用户指定查转载 2017-10-20 09:03:46 · 3321 阅读 · 0 评论 -
Elasticsearch的Java API使用
先将最基本的写出来(增删改查):我这里导入的是elasticsearch2.2.0的jar包import java.net.InetAddress;import java.util.Date;import java.util.Map;import org.elasticsearch.action.delete.DeleteResponse;import org.elasticsea...原创 2017-10-17 11:33:16 · 516 阅读 · 0 评论 -
ElasticSearch-Mapping field字段type类型
参考官方英文文档:https://www.elastic.co/guide/en/elasticsearch/reference/current/mapping.htmlMapping是定义文档及其包含的字段如何存储和编制索引的过程,每个索引都有一个映射类型,用于确定文档将如何编制索引。Meta-fields包括文档的_index,_type,_id和_source字段es字段数据类型:...原创 2019-02-11 23:16:24 · 6262 阅读 · 0 评论