ELK
文章平均质量分 53
ElasticSearch + Kibanna + Logstash
?abc!
努力学习,天天向上
展开
-
在kibana查看当前kibana连接了那些elasticsearch地址
在kibana查看当前kibana连接了那些elasticsearch地址。原创 2022-07-28 10:56:32 · 2432 阅读 · 0 评论 -
Kibana使用:其他的功能
一:logstash的配置文件验证(grok)logstash的配置文件如下:input { file { path => ["D:/ES/logstash-7.3.0/nginx.log"] start_position => "beginning" }}filter { grok { match => { "message" => "%{IP:clientip}\ \[%{HTTPDAT原创 2022-01-17 11:16:35 · 99 阅读 · 0 评论 -
Kibana使用:使用kibana提供的一些图表
第一步:点击图标第二步:添加模拟数据添加完成第三步:进入仪表盘第四步:进入刚刚下载的仪表盘第五步:查看使用的图表内容以后我们就可以直接使用这个图表里面的内容,进行修改就可以了第六步:还有其他提供的模板,按第一步和第二步进行操作就可以了...原创 2022-01-17 11:15:51 · 1093 阅读 · 0 评论 -
Kibana使用(Visualize):数据可视化
第一步:选择Visualize第二步:新建可视化第三步:演示时间序列第四步:进行聚合操作因为我是自己随便搭的kibana所以里面的数据很少,大家只要知道上方的图形是展示数据数量的4.1 对数据进行聚合操作这个操作和之前使用脚本的操作脚本类似4.2 进行详细的设置第五步:保存可视化第六步:其他其他的面板创建与上面的类似,可以自己去一个一个尝试测试6.1 创建饼状图的可视化6.1.1 拆分图表点击运行过后:可以发现这样比较难看6.1.2 拆分切片原创 2022-01-17 11:05:46 · 8951 阅读 · 1 评论 -
Kibana使用(Discover):数据的查询
第一步:点开Discover第二步:创建索引选择完成之后,选择下一步第三步:选择筛选字段第四步:发现数据4.1查看具体的内容4.2查看具体的字段内容上面的是将整个的source都显示出来了,如果想要将其中的一些字段进行显示,就按下面的操作再添一个字段如下:4.3删除某字段4.4进行全文检索方式14.5进行全文检索方式24.6进行全文检索方式34.7选择时间因为我这个的Kibana版本比较老,所以没有显示,新版本应该是下面的样式原创 2022-01-17 11:05:16 · 13618 阅读 · 1 评论 -
Kibana使用(Dashboard):仪表盘
第一步:进入仪表盘第二步:新建仪表盘第三步:将之前的图添加进来将所有的都添加进来可以在这里面进行图形的调整,直接使用鼠标进行操作即可第四步:保存原创 2022-01-17 11:02:13 · 1620 阅读 · 0 评论 -
ElasticSearch索引模板(template)操作:创建、查询、修改、删除
官方文档链接:https://www.elastic.co/guide/en/elasticsearch/reference/6.6/indices-templates.html一:概述可以按下面几种方式理解索引模板:避免每次在创建索引库的时候,都需要手工指定每个索引库的配置信息;索引可以使用索引模板(index template)进行创建,在新建索引时需要进行模板设置包括settings和mappings,通过模式匹配可使多个索引重复使用一个模板。将已经创建好的某个索引的参数设置(sett原创 2022-01-17 08:37:08 · 12868 阅读 · 0 评论 -
Logstash(3)插件的使用(input、filter、output的使用)
一:输入插件(input)输入插件地官方文档:https://www.elastic.co/guide/en/logstash/current/input-plugins.html下面将举例说明:标准输入读取文件读取TCP网络数据1 标准输入(stdin)在控制台打helloworld(stdin{}),回车就会在当前控制台进行输出(codec=>rubydebug )input{ stdin{ }}output { stdout{原创 2022-01-11 19:23:50 · 1452 阅读 · 0 评论 -
Logstash(2)安装Logstash
第0步:下载Logstash下载网址:https://www.elastic.co/cn/downloads/logstash百度网盘有7.12和7.6版本的:https://pan.baidu.com/s/1DugpB7eQ8Azvv-MZ1Ey-Tw提取码:8n9c第一步:上传LogstashCRT的上传方式:alt+p,进入ftp界面#上传压缩包sftp> put c:/upload/logstash-7.16.2-linux-x86_64.tar.gzUploading原创 2022-01-11 10:06:27 · 1388 阅读 · 0 评论 -
Logstash(1)执行流程及使用原因,和工作原理
概述及执行流程集中、转换和存储数据官方文字说明:Logstash是开源的服务器端数据处理管道,能够同时从多个来源采集数据,转换数据,然后将数据发送到您最喜欢的“存储库”中。整体的功能其实是一个管道一端是存储数据的位置:ES另外一端是外部,被称为数据源,一般叫DS,是一些数据可能是代码、应用等都有可能logStash中被分为三段:最左侧是input:相当于创建了一个服务器当前logStash安装在某一个ip地址,input监听一个端口port;外部系统将要存储的数据通过ip原创 2022-01-11 10:10:29 · 736 阅读 · 0 评论 -
logstash: Exception: java.lang.OutOfMemoryError thrown from the UncaughtExceptionHandler in thread “
问题java.lang.OutOfMemoryError: Java heap spaceDumping heap to java_pid21521.hprof ...Heap dump file created [178296139 bytes in 4.271 secs]Exception: java.lang.OutOfMemoryError thrown from the UncaughtExceptionHandler in thread "Ruby-0-Thread-6@puma se原创 2022-01-11 10:02:43 · 1360 阅读 · 0 评论 -
logstash报错:运行时OpenJDK 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000ca660000, 89928499
问题Using JAVA_HOME defined java: /opt/elasticsearch-7.6.1/jdkWARNING: Using JAVA_HOME while Logstash distribution comes with a bundled JDK.DEPRECATION: The use of JAVA_HOME is now deprecated and will be removed starting from 8.0. Please configure LS_JAV原创 2022-01-11 08:43:55 · 4058 阅读 · 0 评论 -
ElasticSearch中aggs里面套aggs的javaAPI实现
Kibana命令如下GET person/_search{ "query": { "bool": { "filter": [ { "match": { "address": "外滩" } } ] } }, "aggs": { "age": { "terms": { "field": "age",原创 2022-01-11 19:28:18 · 2408 阅读 · 0 评论 -
ElasticSearch(15)脑裂
概述一个正常es集群中只有一个主节点(Master),主节点负责管理整个集群。如创建或删除索引,跟踪哪些节点是群集的一部分,并决定哪些分片分配给相关的节点。集群的所有节点都会选择同一个节点作为主节点。脑裂问题的出现就是因为从节点在选择主节点上出现分歧导致一个集群出现多个主节点从而使集群分裂,使得集群处于异常状态。脑裂产生的原因1 网络原因:网络延迟一般es集群会在内网部署,也可能在外网部署,比如阿里云内网一般不会出现此问题,外网的网络出现问题的可能性大些。2 节点负载主节点的角色既原创 2022-01-11 00:15:00 · 224 阅读 · 0 评论 -
ElasticSearch(14)集群原理
@原创 2022-01-11 00:00:00 · 119 阅读 · 0 评论 -
ElasticSearch避免数量超过10000不显示的问题解决及JavaAPI操作
情况如下所示解决方法指令"track_total_hits": truejavaAPISearchSourceBuilder sourceBuilder = new SearchSourceBuilder();// 准确计数sourceBuilder.trackTotalHits(true);原创 2021-12-30 15:54:12 · 991 阅读 · 0 评论 -
ElasticSearch的_cat命令说明和其JavaAPI
_cat命令_cat命令获取es中的状态或者一些数据之间的关系# 列出所有_cat命令GET _cat/_cat命令# 显示每个节点分片数量、占用空间_cat/allocation# 显示索引分片信息_cat/shards_cat/shards/{index}#显示master节点信息_cat/master#显示node节点信息_cat/nodes_cat/tasks_cat/indices_cat/indices/{index}# 显示分片中的分段信息_c原创 2021-12-31 08:50:14 · 1017 阅读 · 2 评论 -
ElasticSearch判断索引是否存在,JavaAPI代码实现
今天想要解决一个问题,便是对索引进行容错,因此首先想要判断索引是否存在。在网上搜索了许久都没有解决,最后还是自己一个一个去尝试解决的,特在这里进行叙述,方便后来者进行查看方法public class countStatusTest { @Autowired private RestHighLevelClient client;/** * 判断指定的索引名是否存在 * @param indexName 索引名 * @return 存在:true; 不存在:原创 2022-01-08 09:27:30 · 3537 阅读 · 3 评论 -
ElasticSearch(13)JavaAPI操作es集群
集群概念集群和分布式概念:集群:多个人做一样的事。分布式:多个人做不一样的事。集群解决的问题:让系统高可用分担请求压力分布式解决的问题:分担存储和计算的压力,提速解耦ES集群特点ElasticSearch天然支持分布式ElasticSearch的设计隐藏了分布式本身的复杂性我们不需要去关注es内部的设计ElasticSearch集群分布式架构相关概念集群(cluster) :一组拥有共同的cluster name的节点。节点(node)∶集群中的一个Elas原创 2021-12-31 09:45:49 · 605 阅读 · 0 评论 -
ElasticSearch(12)Java API高级查询(常用重点)
matchAll查询matchAll查询:查询所有文档package com.yy.esdemo;import com.alibaba.fastjson.JSON;import com.yy.esdemo.domain.Person;import com.yy.esdemo.domain.User;import com.yy.esdemo.mapper.UserMapper;import org.elasticsearch.action.bulk.BulkRequest;import o.原创 2021-12-28 09:53:01 · 1376 阅读 · 0 评论 -
ElasticSearch(11)bulk批量操作与导入数据
1 项目环境准备springboot整合es:项目代码说明2 bulk批量操作都是使用add()方法实现的未执行之前:package com.yy.esdemo;import org.elasticsearch.action.bulk.BulkRequest;import org.elasticsearch.action.bulk.BulkResponse;import org.elasticsearch.action.delete.DeleteRequest;import or原创 2021-12-27 17:57:14 · 3487 阅读 · 0 评论 -
ElasticSearch(10)通过javaAPI操作索引、操作文档
1 项目环境准备springboot整合es:项目代码说明2 操作索引2.1 添加索引只是添加索引,不指定mapping这些package com.yy.esdemo;import org.apache.http.HttpHost;import org.elasticsearch.action.admin.indices.create.CreateIndexRequest;import org.elasticsearch.action.admin.indices.create.Create原创 2022-01-10 08:48:22 · 441 阅读 · 0 评论 -
ElasticSearch(9)索引别名、重建索引
重建索引随着业务需求的变更,索引的结构可能发生改变。ElasticSearch的索引一旦创建,只允许添加字段,不允许改变字段。因为改变字段,需要重建倒排索引,影响内部缓存结构,性能太低。完成需求:重建一个新的索引,并将原有索引的数据导入到新索引中。修改:索引别名如果想要通过java代码操作es去修改索引的话,还是使用的index_v1中老的索引名称,因此出现了索引别名,不用去改代码...原创 2022-01-10 08:47:55 · 404 阅读 · 0 评论 -
ElasticSearch(8)其他查询(脚本):这个是重点
matchAll查询matchAll查询:查询所有文档语法:GET 索引名称/_search{ "query":{ "match_all":{} }}查询出来的结果,默认情况下,es一次展示10条数据但是一般通过from和size来控制分页{ "took" : 0, //时间,第一次执行比较慢,后面就会越来越快,因为执行的结果会缓存到内存里面去 "timed_out" : false,//超时没有 "_shards" : {//分片信息,集群。。 "原创 2021-12-27 10:47:53 · 1406 阅读 · 0 评论 -
ElasticSearch(8)高级查询(脚本):批量操作导入数据
批量操作Bulk(大量)批量操作是将文档的增删改查一些列操作,通过一次请求全都做完。减少网络传输次数。语法:POST /_bulk{"action": {"metadata"}}{"data"}示例:POST _bulk{"delete":{"_index":"person", "id":"5"}}{"create":{"_index":"person", "id":"5"}}{"name":"六号”,"age":20, "address":"北京”}{"update":{"_ind原创 2022-01-10 08:49:39 · 877 阅读 · 0 评论 -
ElasticSearch(7)springbooot整合ES
使用springBoot整合ES1 搭建SpringBoot工程2 引入Elastiesearch相关坐标<!-- 引入es坐标--> <dependency> <groupId>org.elasticsearch.client</groupId> <artifactId>elasticsearch-rest-high-level-client</artifa原创 2021-12-27 14:33:00 · 1275 阅读 · 0 评论 -
ElasticSearch(6)查询文档:词条查询、全文查询
词条查询: term词条查询不会分析查询条件,只有当词条和查询字符串完全匹配时才匹配搜索全文查询: match全文查询会分析查询条件,先将查询条件进行分词,然后查询,求并集创建索引需要在创建索引时,将索引指定好选择哪一个分词器查询(iterm)# term词条查询。查询的条件字符串和词条完全匹配# es默认使用的分词器是standard,一个字一个词# 首先是将索引的分词进行指定PUT person{ "mappings": { "properties": {原创 2022-01-10 08:47:23 · 480 阅读 · 0 评论 -
ElasticSearch(5)分词器
分词器(Analyzer)∶将一段文本,按照一定逻辑,分析成多个词语的一种工具华为手机—>华为、手、手机ElasticSearch内置分词器对中文很不友好,处理方式为:一个字一个词ik分词器安装因为es自带的分词器对中文不太友好,所有我们需要去安装一些中文分词器,得到我们所需要的词lKAnalyzer是一个开源的,基于java语言开发的轻量级的中文分词工具包具有60万字/秒的高速处理能力支持用户词典扩展定义是一个基于Maven构建的项目7.4下载地址:https://g原创 2022-01-10 08:47:05 · 238 阅读 · 0 评论 -
ElasticSearch(4)脚本操作ES
Restful风格REST (Representational State Transfer),表述性状态转移,是一组架构约束条件和原则。满足这些约束条件和原则的应用程序或设计就是RESTful。就是一种定义接口的规范。简单来说:就是一种定义接口的规范要求:基于HTTP可以使用XML定义或Json格式定义每一个URI代表一种资源客户端使用GET、POST、PUT、DELETE4个表示操作方式的动词对服务端资源进行操作:GET:用来获取资源POST:用来新建资源(也可以用于更新资源)原创 2022-01-10 08:46:44 · 465 阅读 · 0 评论 -
ElasticSearch(3)安装ElasticSearch和Kibana
一: 安装ElasticSearch(centos7)1 下载es在这里提供两种下载方法:官网下载:http://www.elasticsearch.cn/百度网盘:链接https://pan.baidu.com/s/171fHZqeVplCapUv8oYF6BQ提取码:cbmv2 将es上传到centos上上传方式多种多样,我这里就使用CRT进行上传(alt+P),就不详细说步骤了,直接放截图[root@localhost ~]# lsanaconda-ks.cfg docker-原创 2021-12-27 10:45:27 · 376 阅读 · 0 评论 -
ElasticSearch(2)概念
一: 概念官网:https://www.slastic.co/ElasticSearch是一个基于Lucene的搜索服务器Lucene:是一套搜索的API,即搜索定义的一些jar包或代码ES是将Lucene进行了一些封装,提供简化的搜索方式LuceneLucene有两种实现:ElasticSearch和solr,ES先出来,所以在性能方面es高于solr,特别是实时搜索是一个分布式、高扩展、高实时的搜索与数据分析引擎基于RESTful web接口Elasticsearch是用J原创 2022-01-10 08:46:24 · 237 阅读 · 0 评论 -
ElasticSearch(1)ES数据的存储和搜索原理
ElasticSearch简称为ES,以后就使用ES作为描述了一: 前提内容1.1 esElasticSearch就是一个搜索服务器说明其就是一个软件,安装之后就可以使用了搜索:搜索就是查询1.2 关系型数据库查询的问题问题1:如果使用模糊查询,左边有通配符(%等),不会走索引,会全表扫描,性能低使用通配符后,在数据表中的当前列上作用的索引会失效(当数据比较多时,可以对列名加上索引,提升查询的性能)问题2:关系型数据库提供的查询,功能太弱二: 倒排索引前面两种问题可以通过原创 2022-01-10 08:42:31 · 8478 阅读 · 0 评论