elasticsearch
文章平均质量分 77
mojolang
精品驿站
展开
-
Elasticsearch安装
在启动或者安装ES之前,需要先下载JDK 1.7以上的版本,对于2.0来说,要求JDK1.8以上。检查JDK的版本使用命令:java -versionecho $JAVA_HOME查看JDK的版本,正确安装JDK后,就可以下载安装ES了。下载文件在网址:www.elastic.co/downloads 中下载最新版本的ES。可以下载转载 2016-12-30 10:34:23 · 388 阅读 · 0 评论 -
Elasticsearch 之 数据索引
对于提供全文检索的工具来说,索引时一个关键的过程——只有通过索引操作,才能对数据进行分析存储、创建倒排索引,从而让使用者查询到相关的信息。本篇就ES的数据索引操作相关的内容展开:更多内容参考:Elasticsearch资料汇总索引操作最简单的用法就是指定索引操作的index索引、type类型、ID(需要区分动词的索引和名次的索引),参考下面的例子:$ c转载 2016-12-30 12:15:00 · 976 阅读 · 0 评论 -
Elasticsearch 动态映射——自动检测
ES中有一个非常重要的特性——动态映射,即索引文档前不需要创建索引、类型等信息,在索引的同时会自动完成索引、类型、映射的创建。那么什么是映射呢?映射就是描述字段的类型、如何进行分析、如何进行索引等内容。本篇就着重讲述下,ES中映射的自动检测特性。更多内容参考:Elastisearch知识总结字段自动检测在某个字段第一次出现时,如果之前没有定义过映射,ES转载 2016-12-30 12:15:52 · 932 阅读 · 0 评论 -
Elasticsearch之_default_—— 为索引添加默认映射
前篇说过,ES可以自动为文档设定索引。但是问题也来了——如果默认设置的索引不是我们想要的,该怎么办呢?要知道ES这种搜索引擎都是以Index为实际的分区,Index里面包含了不同的类型,不同的类型是逻辑上的分区;每种类型可能包含有相同的字段,如果字段的类型相同还好,如果不同....那就会导致字段的冲突了。本篇就讲述如何使用REST API以及Logstash设置默认的索引。转载 2016-12-30 12:16:37 · 6138 阅读 · 0 评论 -
Elasticsearch——分词器对String的作用
关于String类型——分词与不分词在Elasticsearch中String是最基本的数据类型,如果不是数字或者标准格式的日期等这种很明显的类型,其他的一般都会优先默认存储成String。同样的数据类型,Elasticsearch也提供了多种存储与分词的模式,不同的模式应用于不同的场景。很多人在初次使用Elasticsearch时,都会很纳闷...为什么我存储的一句话,却转载 2016-12-30 12:19:06 · 485 阅读 · 0 评论 -
Elasticsearch 5.1.1使用笔记,欢迎探讨
网上关于elasticsearch的教程已经很多了,本人主要是将安装过程中的一些步骤或遇到的问题备注留作以后使用,有兴趣的看客欢迎交流。安装运行1、前置安装java8jdk-8u112-Linux-x64.rpm下载地址:http://www.Oracle.com/technetwork/Java/javase/downloads/index.htm转载 2016-12-29 14:27:55 · 2052 阅读 · 1 评论 -
Elasticsearch5.2.1集群搭建,动态加入节点,并添加监控诊断插件
写在前面的话之前写过一篇文章是: 如何使用一个IP搭建ES集群——Docker如你所愿,在该篇文章中说明了Elasticsearch集群的单播和多播的概念和差别,以及在生产环境中的利与弊。其实在里边也写了怎么搭建集群,但是整个流程走下来是有很多bug的,那么这篇文章就好好聊一下如何搭建一个完整的Elasticsearch集群,并灵活添加节点。环境准备1:Elastics转载 2017-05-12 10:52:30 · 3843 阅读 · 0 评论 -
Elasticsearch 集群优化篇
写在前边的话ES5.2.1 集群部署参考:http://blog.csdn.net/gamer_gyt/article/details/59077189对于集群的监控和优化是很重要的一部分,如果想持久维护集群,单单靠增加物理内存,cpu,硬盘是不够的,必须通过一些方法来进行优化。集群结点角色分配在之前得文章中我们介绍到es集群中得三个角色 master ,dat转载 2017-05-12 11:03:17 · 1335 阅读 · 0 评论 -
CentOS7上elasticsearch5.0 常见问题
常见问题6.1max virtual memory areas vm.max_map_count [65530] likely too low, increase to at least [262144]这是由于 vm.max_map_count 太小引起的,可以使用sysctl -w vm.max_map_count=262144来临时调整这个数值。并用以下命令查看是否修转载 2017-05-14 00:14:09 · 941 阅读 · 0 评论 -
elasticsearch-5.5.1安装head客户端
1、安装nodejs、npm、gruntcurl -sL -o /etc/yum.repos.d/khara-nodejs.repo https://copr.fedoraproject.org/coprs/khara/nodejs/repo/epel-7/khara-nodejs-epel-7.repo 然后安装 yum install -y nodejs nodejs-npm转载 2018-01-02 22:18:22 · 303 阅读 · 0 评论 -
ELK Stack日志实时收集分析
ELK stackELK stack是又Elasticsearch,lostash,kibana 三个开源软件的组合而成,形成一款强大的实时日志收集分析展示系统。Logstash:日志收集工具,可以从本地磁盘,网络服务(自己监听端口,接受用户日志),消息队列中收集各种各样的日志,然后进行过滤分析,并将日志输入到Elasticsearch中。Elasticsearch:日志分布式转载 2018-01-16 13:53:17 · 1270 阅读 · 0 评论 -
Docker构建ELK Docker集群日志收集系统_docker
当我们搭建好Docker集群后就要解决如何收集日志的问题 ELK就提供了一套完整的解决方案 本文主要介绍使用Docker搭建ELK 收集Docker集群的日志ELK简介ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,rest转载 2018-01-16 13:54:57 · 4610 阅读 · 0 评论 -
linux下使用elk+redis搭建nginx日志分析平台
logstash,elasticsearch,kibana 怎么进行nginx的日志分析呢?首先,架构方面,nginx是有日志文件的,它的每个请求的状态等都有日志文件进行记录。其次,需要有个队列,redis的list结构正好可以作为队列使用。然后分析使用elasticsearch就可以进行分析和查询了。我们需要的是一个分布式的,日志收集和分析系统。logstash有agent和indexe转载 2018-01-16 13:57:20 · 405 阅读 · 0 评论 -
Elaticsearch REST API常用技巧
在Elasticsearch的REST API中,有很多使用技巧,这里针对官方文档给出的介绍,总结了几个常用的例子。更多内容参考:Elastisearch文档总结多索引ES支持在一次请求中指定多个索引,可以使用通配符或者日期表达式的方式:例如,foo*索引会匹配foo1,foo2,foo3等索引。_all则会匹配所有的索引。同时也可以针对不可用的索引进行转载 2016-12-30 12:14:06 · 891 阅读 · 0 评论 -
AngularJS 国际化——Angular-translate
对于一个用户群面向全球的的应用来说,不得不考虑国际化的问题。当然,即便是刚刚起步的小应用,如果有心搞大,也应该提前设计国际化的方案。本篇讲述使用AngularJS构建的应用的简单国际化方案,准确的说,是国际化服务....i18n与l10ni18n是Internationalization得缩写,取第一个字母和最后一个字母,以及中间省略的字母数目,即i18n,类似的l10转载 2016-12-30 12:13:14 · 890 阅读 · 0 评论 -
Elasticsearch集群管理
ES通过设置【节点的名字】和【集群的名字】,就能自动的组织相同集群名字的节点加入到集群中,并使很多的技术对用户透明化。如果用户想要管理查看集群的状态,可以通过一些REST API来实现。其他的ES文档翻译参考:Elasticsearch文档总结REST API用途ES提供了很多全面的API,大致可以分成如下几种:1 检查集群、节点、索引的健康情况转载 2016-12-30 10:35:34 · 544 阅读 · 0 评论 -
Elasticsearch聚合 之 Range区间聚合
Elasticsearch提供了多种聚合方式,能帮助用户快速的进行信息统计与分类,本篇主要讲解下如何使用Range区间聚合。最简单的例子,想要统计一个班级考试60分以下、60到80分、80到100分,在ES中只要一个命令就可以轻松统计....更多资料参考:Elasticsearch文档翻译聚合例子按照前言中的例子,可以执行下面的命令:{ "a转载 2016-12-30 10:36:27 · 16035 阅读 · 0 评论 -
Elasticsearch聚合 之 DateRange日期范围聚合
相比于range聚合,date range就是范围可以由时间来指定。例如:{ "aggs":{ "range":{ "date_range":{ "field":"date", "format":"MM-yyy", "ranges"转载 2016-12-30 10:37:52 · 16418 阅读 · 1 评论 -
Elasticsearch聚合 之 Ip Range IP地址范围聚合
相对于range和date range,这个聚合就是能够表示IP的范围。普通IP模式DSL命令:{ "aggs":{ "ip_ranges":{ "ip_range":{ "field":"ip", "ranges":[转载 2016-12-30 10:39:17 · 6729 阅读 · 0 评论 -
Elasticsearch 管理文档
ES支持近实时的索引、更新、查询、删除文档,近实时就意味着刚刚索引的数据需要1秒钟后才能搜索到,这也是与传统的SQL数据库不同的地方。更多的ES文档资料参考:Elasticsearch官方文档翻译索引/替换文档之前已经试过如何索引一个文档了,这里再复习一下:curl -XPUT 'localhost:9200/customer/external/1?pretty转载 2016-12-30 10:45:11 · 408 阅读 · 0 评论 -
Elasticsearch 数据搜索篇·【入门级干货】
ES即简单又复杂,你可以快速的实现全文检索,又需要了解复杂的REST API。本篇就通过一些简单的搜索命令,帮助你理解ES的相关应用。虽然不能让你理解ES的原理设计,但是可以帮助你理解ES,探寻更多的特性。其他相关的内容参考:Elasticsearch官方文档翻译样例数据为了更好的使用和理解ES,没有点样例数据还是不好模拟的。这里提供了一份官网上的数据,accounts转载 2016-12-30 10:46:30 · 1363 阅读 · 0 评论 -
Elasticsearch 安装与启动
平台支撑ES支持在不同的平台上运行,下面这幅图中,对号标记的是经过测试的平台,其他的也可以运行,但是可能会出现BUG。下载与安装在官网下载地址就可以进行下载。然后解压,进入bin目录,运行下面的命令:$ bin/elasticsearch如果想要以守护进程的方式运行,可以添加-d参数:$ bin/elasticsearch -d转载 2016-12-30 10:47:36 · 4578 阅读 · 0 评论 -
Elasticsearch 文件目录解释
下载后解压的Elasticsearch中,有以下几个基本的目录:home---这是Elasticsearch解压的目录 bin---这里面是ES启动的脚本 conf---elasticsearch.yml为ES的配置文件 data---这里是ES得当前节点的分片的数据,可以直接拷贝到其他的节点进行使用 logs---日志文件 plugins---这里存放一转载 2016-12-30 10:48:24 · 4727 阅读 · 0 评论 -
Lucene查询语法详解
Lucene查询Lucene查询语法以可读的方式书写,然后使用JavaCC进行词法转换,转换成机器可识别的查询。下面着重介绍下Lucene支持的查询:Terms词语查询词语搜索,支持 单词 和 语句。单词,例如:"test","hello"语句,例如:"hello,world!"多个词语可以通过操作符,连接成更复杂的搜索逻辑。Field字段查转载 2016-12-30 12:01:37 · 1136 阅读 · 1 评论 -
Elasticsearch DSL中Query与Filter的不同
Elasticsearch支持很多查询方式,其中一种就是DSL,它是把请求写在JSON里面,然后进行相关的查询。举个DSL例子GET _search{ "query": { "bool": { "must": [ { "match": { "title": "Search" }}, { "ma转载 2016-12-30 12:02:44 · 452 阅读 · 0 评论 -
Elasticsearch 连接查询
在一般的关系型数据库中,都支持连接操作。在ES这种分布式方案中进行连接操作,代价是十分昂贵的。不过ES也提供了相类似的操作,支持水平任意扩展,实现连接的效果。其他内容,参考Elasticsearch官方指南整理ES中的连接在ES中支持两种连接方式:嵌套查询 和 has_child、has_parent父子查询嵌套查询:文档中包含嵌套的字段转载 2016-12-30 12:04:02 · 2756 阅读 · 0 评论 -
Elasticsearch Span Query跨度查询
ES基于Lucene开发,因此也继承了Lucene的一些多样化的查询,比如本篇说的Span Query跨度查询,就是基于Lucene中的SpanTermQuery以及其他的Query封装出的DSL,接下来就看一下这些DSL都如何使用吧!更多翻译参考:Elasticsearch知识汇总span_term查询这个查询如果单独使用,效果跟term查询差不多,但是一般还是用于其转载 2016-12-30 12:12:25 · 1881 阅读 · 0 评论 -
linux中搭建ElasticSearch-2.x Logstash-2.x Kibana-4.5.x Kafka为消息中心的ELK日志平台
介绍ELK是业界标准的日志采集,存储索引,展示分析系统解决方案logstash提供了灵活多样的插件支持不同的input/output主流使用redis/kafka作为日志/消息的中间环节如果已有kafka的环境了,使用kafka比使用redis更佳以下是一个最简化的配置做个笔记,elastic官网提供了非常丰富的文档不要用搜索引擎去搜索,没多少结果的,请直接看官网文档转载 2018-01-16 13:59:26 · 385 阅读 · 0 评论