![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
ELK
GOD_WAR
喜欢钻研大数据、python、机器学习、人工智能...
展开
-
ELK日志分析系统
一、ELK搭建篇官网地址:https://www.elastic.co/cn/官网权威指南:https://www.elastic.co/guide/cn/elasticsearch/guide/current/index.html安装指南:https://www.elastic.co/guide/en/elasticsearch/reference/5.x/rpm.htmlELK...原创 2019-11-27 23:02:38 · 215 阅读 · 0 评论 -
ElasticSearch-SQL使用方式总结
ES-SQL插件此插件提供了es 的类sql查询的相关接口。支持绝大多数的sql查询支持github地址:https://github.com/NLPchina/elasticsearch-sql环境准备需安装elasticsearch node.js npm下载安装进入es根目录,执行如下命令(注意插件版本号需要同自身es版本保持一致)./bin/e...原创 2019-11-06 15:15:41 · 1819 阅读 · 0 评论 -
Elasticsearch简介与实战
什么是Elasticsearch? Elasticsearch是一个开源的分布式、RESTful 风格的搜索和数据分析引擎,它的底层是开源库Apache Lucene。 Lucene 可以说是当下最先进、高性能、全功能的搜索引擎库——无论是开源还是私有,但它也仅仅只是一个库。为了充分发挥其功能,你需要使用 Java 并将 Lucene 直接集成到应用程序中。 更糟糕的是,您可能需要获...原创 2019-11-06 15:12:52 · 86 阅读 · 0 评论 -
logstash的使用教程
一、简单使用cd logstash_HOMEbin/logstash -e 'input { stdin { } } output { stdout {} }'启动 Logstash 后,再键入 Hello hiekay,结果如下:在生产环境中,Logstash 的管道要复杂很多,可能需要配置多个输入、过滤器和输出插件。因此,需要一个配置文件管理输入、过滤器和输出相...原创 2019-09-18 23:04:40 · 2585 阅读 · 0 评论 -
elasticsearch安装中文分词组件
安装中文分词组件分词组件elasticsearch提供了几个内置的分词器:standard analyzer(标准分词器)、simple analyzer(简单分词器)、whitespace analyzer(空格分词器)、language analyzer(语言分词器),而如果我们不指定分词器类型的话,elasticsearch默认是使用标准分词器的。那接下来我们先来看看这几种分词...原创 2019-09-18 22:57:50 · 312 阅读 · 0 评论 -
Elasticsearch分词插件——IK Analysis
ElasticSearch及IK分词插件相关安装一.简介ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。 Ela...原创 2019-09-18 22:54:26 · 438 阅读 · 0 评论 -
Kibana的使用
Discover一、时间过滤器1、快速设置过滤器-Quick从这里可以选今天昨天等等等等2、相对时间过滤器-Relative从这里可以自定义几小时以前或者几周以前等等3、绝对时间过滤器-Absolute这里是一个绝对的时间,直接选就好了。4、柱状图时间过滤器有两种:(1)直接点击柱状图即可查看明细(2)选中柱状图...原创 2019-09-18 22:39:28 · 363 阅读 · 0 评论 -
搜索相关技术简介:lucene、solr、nutch、elasticSearch、LogStash、Kibana
1、前面3个大佬很早之前就听过:lucene是一个文档索引、检索框架。 solr是一个基于lucene的搜索服务,目的就是要搞一个搜索引擎,提供http服务,支持json、xml、csv、二进制流等格式的输入输出。 nutch用于建立web搜索引擎,包括爬虫和全文搜索。2、后面几个近几年很火,合称elk(没具体查什么时候出现的)elasticSearch:也是基于lucene的,搞索...原创 2019-09-18 22:36:05 · 512 阅读 · 0 评论 -
elasticsearch 插件 大全
推荐几款比较常用的elasticsearch插件1.集群监控插件bigdesknodeimageclusterimage2.集群资源查看和查询插件kopfimageimageHQ #elasticsearch-HQ3.调试查询inquisitorimage4.类似sql语法的查询插件elasticsearch-sql(...原创 2019-09-18 22:18:53 · 2255 阅读 · 0 评论 -
看完这篇还不会 Elasticsearch,我跪搓衣板!
本文概要希望通过这篇文章能让读者大致了解Elasticsearch是做什么的以及它的使用和基本原理。搜索引擎是对数据的检索,所以我们先从生活中的数据说起。我们生活中的数据总体分为两种:结构化数据 和 非结构化数据。结构化数据:也称作行数据,是由二维表结构来逻辑表达和实现的数据,严格地遵循数据格式与长度规范,主要通过关系型数据库进行存储和管理。指具有固定格式或有限长...原创 2019-09-16 22:17:17 · 288 阅读 · 0 评论 -
日志收集flume,logstash比较
Flume1.分布式的可靠的可用的系统,高效的从不同数据源收集聚合迁移大量数据到一个集中的数据存储2.安装部署比较logstash复杂3.同样以配置文件为中心 提供了JavaAPI4.是一个完整的基于插件的架构有独立开发的第三方插件5.三层架构:source channel sink6.Flume使用基于事务的数据传递方式来保证事件传递的可靠性。7.Flume的配置是真繁琐,sou...原创 2019-08-28 19:43:02 · 513 阅读 · 0 评论 -
了解ElasticSearch
1.ElasticSearch的简介ElasticSearch是一个分布式可拓展的实时搜索和分析引擎ElasticSearch的功能:a.分布式实时文件存储,并将每一个字段都编入索引,使其可以被搜索。b.实时分析的分布式搜索引擎。c.可以扩展到上百台服务器,处理PB级别的结构化或非结构化数据。先说Elasticsearch的文件存储,Elasticsearch是面向文档型数...原创 2019-08-27 15:25:03 · 107 阅读 · 0 评论 -
Spark Core读取 ES 数据分区问题分析
ES也是比较火热,在日志数据分析,规则分析等确实很方便,说实话用es stack可以解决很多公司的数据分析需求。Spark 分析ES的数据,生成的RDD分区数跟什么有关系呢?稍微猜测一下就能想到跟分片数有关,但是具体是什么关系呢?可想的具体关系可能是以下两种:1).就像KafkaRDD的分区与kafka topic分区数的关系一样,一对一。2).ES支持游标查询,那么是不...原创 2019-06-21 09:31:50 · 1161 阅读 · 2 评论 -
Spark 集成 ElasticSearch
对于spark的典型应用场景为批处理,一般由基本数据源(文件系统如:hdfs)或者高级数据源(flume、kafka)作为spark的数据接入端。输出一样可以是文件系统或数据库等等。本文介绍一个用java写的demo程序,功能是从本地接收数据,经过spark处理之后输出到Elasticsearch。先上代码:<dependency> <groupId>or...原创 2019-05-16 20:31:41 · 701 阅读 · 0 评论 -
基于Elastic Stack的日志分析系统
Elastic Stack简介Elastic Stack是Elastic公司旗下的一系列软件总称,包括Elasticsearch、Logstash、Kibana和Beats。Elasticsearch是一个分布式搜索引擎,负责数据的存储、查询,支持高并发的写入与查询;Logstash是动态数据收集管道,可以进行数据的清洗、格式化等处理;Kibana是基于Elasticsearch的数据可视化平...原创 2019-05-16 19:32:49 · 846 阅读 · 0 评论