![](https://img-blog.csdnimg.cn/20190927151053287.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
ELK
日志采集系统
Word哥
代码改变世界
展开
-
ElasticSearch单机多实例伪集群部署
1. 前言es集群生产环境中,一般不建议单机部署多实例,如果使用的是一台高配(高内存)物理机,内存≥512GB,单实例部署就有点浪费资源了(单实例安装参考),此时应考虑单机多实例伪集群部署。系统环境:Centos 7.6运行环境:jdk1.8Elasticsearch版本:6.7.02.单机多节点(伪集群)es 伪集群:es服务在同一台机器上根据不同的端口启动服务,构成在本机上的一个集群模式2.1 解压,复制三份# tar -zxvf elasticsearch-6...原创 2020-08-31 17:00:49 · 1291 阅读 · 2 评论 -
Elasticsearch如何删除数据以及索引
1.删除数据,保留索引数据结构1) 删除索引下全部数据,保留数据结构(注意请求方式是Post)索引:data2.0-2020.03.26注意:请求方式是Post,只删除数据,不删除表结构POST /索引/_delete_by_query?pretty2) 根据匹配条件删除指定数据(注意请求方式是Post)索引:data2.0-2020.03.26POST 索引名称/文档名称/_delete_by_query3) 根据主键删除数据(注意请求方式是DELETE)...原创 2020-06-03 17:57:21 · 16817 阅读 · 0 评论 -
Logstash消费kafka同步数据到Elasticsearch
1. 同步数据到Elastic几种方式目前要把kafka中的数据传输到elasticsearch大概有一下几种方法:1) logstash2)flume3)spark streaming4)kafka connect5)开发程序消费kafka写入elasticsearch本文介绍如何使用Logstash将Kafka中的数据写入到ElasticSearch,这里Kafka、logstash、elasticsearch安装就详述了。Logstash工作的流程由三部分组成:in原创 2020-05-08 21:56:10 · 5677 阅读 · 2 评论 -
Elasticsearch使用shell脚本数据备份和恢复
1. 备份#!/bin/bashcurrentUser=$(whoami)if [ "$currentUser" != "root" ];then echo "当前用户为非root,请切换用户:${currentUser}" exit 1fiesDir="/opt/elk/elasticsearch-6.7.0/" #es安装目录es_backup="/home/gocod...原创 2020-05-08 17:13:05 · 900 阅读 · 0 评论 -
Golang无法连接docker中Elasticsearch
问题:使用Golang客户端连接docker中es报错:no active connection found: no Elasticsearch node available使用的第三方库:"github.com/olivere/elastic"解决办法:参考Docker No Elastic Node Aviable关闭sniff模式;或者设置es的地址为publish_...原创 2020-05-08 11:38:34 · 1398 阅读 · 0 评论 -
Elasticsearch的数据备份和恢复以及迁移
目录1. 为什么备份?2. 备份3.数据恢复1. 为什么备份?常见的数据库都会提供备份机制,以解决在数据库无法使用的情况下通过备份来恢复数据减少损失。 Elasticsearch 虽然有良好的容灾性,但以下原因,其依然需要备份机制:1) 数据灾备:在整个集群无法正常工作时,可以及时从备份中恢复数据。2) 归档数据:随着数据的积累,比如日志类的数据,集群的存储压力会越来...原创 2020-04-28 19:56:48 · 9444 阅读 · 1 评论 -
Elasticsearch解决健康状态异常问题
目录1.Elasticsearch健康状态2. 如何解决健康状态为黄色?3. 如何解决健康状态为红色?1.Elasticsearch健康状态Elasticsearch 集群健康状态分为三种:green:最健康得状态,说明所有的分片包括备份都可用; 这种情况Elasticsearch集群所有的主分片和副本分片都已分配, Elasticsearch集群是 100% 可用的...原创 2020-04-20 13:17:35 · 2292 阅读 · 0 评论 -
Elasticsearch性能调优
logstash是controller层,Elasticsearch是一个model层,kibana是view层Kibana 依赖 ElasticsearchLogstash 数据 输出到 ElasticsearchElasticsearch 数据来源 依赖 Logstash依赖顺序安装的服务: ElasticSearch -> Logstash -> Kibana数据流...原创 2020-01-16 17:39:03 · 463 阅读 · 0 评论 -
Elasticsearch添加安全认证Search guard
1.elasticsearch 6.x 安装search guardes之前版本一直无用户验证功能,不过官方有提供一x-pack,但是问题是付费。在es的6.7.0版本中,已经集成了x-pack,虽然es团队已经对x-pack开源,但是在该版本中如果需要使用到安全加密功能,依然还是需要付费购买license,search guard社区版可以免费提供用户验证功能。我使用的是elastics...原创 2020-01-15 14:31:32 · 1543 阅读 · 0 评论 -
ELK—Linux安装Elasticsearch
这里我使用的Elasticsearch版本为6.7.01.1 安装JDK8(需要Java8环境)使用java –version查看版本信息,已安装1.8以上版本无需安装1)下载jdk8文件:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html\2)解压文件:ta...原创 2019-11-11 19:09:53 · 256 阅读 · 0 评论 -
ELK—Linux安装Kibana
1. 下载下载 https://www.elastic.co/cn/downloads/past-releases官网下载安装包,一般要求下载与ES一致的版本, 或者比ES高的版本上传安装包到linux系统安装目录: 执行解压命令,我这里解压到/opt/elk目录下:# tar -zxvf kibana-6.7.2-linux-x86_64.tar....原创 2019-11-14 16:17:51 · 114 阅读 · 0 评论 -
ELK—Linux安装Metricbeat
1. 下载下载:https://www.elastic.co/cn/downloads/beats/metricbeat我这里官网下载的版本filebeat-7.0.0-linux-x86_64.tar.gz2. 配置1) 通过FTP工具上传至/opt/elk目录下2) 切换/opt/elk目录下,解压# tar -xvzf metricbeat-7.0.0-linux-...原创 2019-11-12 14:03:00 · 485 阅读 · 0 评论 -
ELK—Linux安装filebeat
1.下载下载:https://www.elastic.co/cn/downloads/beats/filebeat我这里官网下载的版本filebeat-7.0.0-linux-x86_64.tar.gz2. 配置1) 通过FTP工具上传至/opt/elk目录下2) 切换/opt/elk目录下,解压# tar -xvzf filebeat-7.0.0-linux-x86_6...原创 2019-11-12 13:56:29 · 969 阅读 · 0 评论 -
ELK—Linux安装logstash
1. 下载地址:https://www.elastic.co/cn/downloads/logstash官网下载安装包,一般要求下载与ES一致的版本, 上传到linux系统上,然后解压: 执行命令:tar -xzf logstash-6.7.0.tar.gz 2.配置1) 执行命令cd logstash-6....原创 2019-11-12 13:46:53 · 133 阅读 · 0 评论 -
ELK—Linux安装Head插件
1. 安装node.js 因为head插件是用node.js开发的,需要先安装运行环境。我这里直接官网下载https://nodejs.org/en/download/, 手动上传至安装elk目录;或者下载网址https://www.cnblogs.com/baby123/p/6955396.html1) 切换到/opt/elk目录下,解压node-v8.0.0-lin...原创 2019-11-12 11:46:31 · 627 阅读 · 0 评论