![](https://img-blog.csdnimg.cn/20190610085608611.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
ELK生态系统
ELK(elasticsearch、logstash、kibana、beats)生态系统的搭建、使用等相关内容整理
LSY_csdn_
交流请联系QQ:1174928874
展开
-
ELK生态系统——shell脚本定时删除es中指定格式的历史索引
1、需求目的:elasticsearch中会有一些历史索引数据,比如kibana监控es集群产生的历史日志索引、日志系统产生的历史日志索引等等。如果全部保留这些历史索引数据的话,elasticsearch中的数据会越来越多,这些索引可以根据项目需求,保留一段时间内的数据即可,剩余的历史索引可以删除掉,但是如果认为定期删除这些历史索引比较麻烦,所以本人编写了一个定时删除指定格式的历史索引,全程可...原创 2019-07-03 21:30:03 · 827 阅读 · 0 评论 -
ELK生态系统——shell脚本定时执行logstash命令同步增量数据到es
1、需求目的:关系型数据库与elasticsearch之间的数据同步可通过logstash实现,并且logstash可全量、增量同步数据。全量同步数据值需要手动执行一次即可,但是增量同步数据需要定时执行,logstash的配置conf配置文件中jdbc连接可以配置定时表达式,但是本人感觉不太直观,所以conf配置文件中不配置定时表达式,通过shell脚本定时执行logstash命令来完成定时增...原创 2019-07-03 21:24:14 · 1970 阅读 · 0 评论 -
ELK生态系统——elasticsearch集群数据备份
目录1、集群备份方案:2、NFS服务端配置:(1)检查安装NFS服务:(2)设置NFS服务开机自启:A、centos6开机自启:B、Centos7开机自启:(3)启动NFS服务:A、centos6启动服务:B、Centos7启动服务:(4)创建共享目录:(5)修改共享目录授权配置:(6)刷新配置立即生效:3、NFS客户端配置:(1)检查安装N...原创 2019-06-23 15:39:06 · 1027 阅读 · 0 评论 -
ELK生态系统——kibana连接es集群
目录1、问题背景:2、解决办法:3、es集群协调节点配置:(1)jvm.options修改:(2)elasticsearch.yml修改:A、服务地址:B、服务端口号;C、内部交换地址:D、内部交换端口号:E、节点名称:F、是否有主节点资格:G、是否有数据节点资格:H、是否有数据预处理资格:I、集群初始化地址数组:4、重新启动es集群:...原创 2019-06-21 16:08:39 · 9282 阅读 · 0 评论 -
ELK生态系统——shell脚本监测elasticsearch集群节点
1、监测方案:通过shell可配置化脚本,配置es集群中节点,然后通过shell中执行crul命令监测集群中所有节点是否正常,如果监测到节点不正常,那么就保存节点ip地址和端口号等信息,将异常的集群节点信息通过邮件通知管理员,让管理员尽快登陆服务器查看和解决集群中有问题的节点。2、监测脚本:脚本的大致思路就是在配置文件中配置集群中所有节点的ip和端口号,以及有异常要通知的管理员邮箱地址...原创 2019-06-19 20:29:16 · 707 阅读 · 0 评论 -
ELK生态系统——elasticsearch集群水平扩展节点
(1)新增节点配置jvm参数:A、jvm-head最小值:配置config/jvm.options文件中:-Xms服务器内存一般都比较大,建议配置1/3物理内存起步或10g起步,越大越好,但是也不能特别大,要预留出一部分内存给系统和其它应用。与最大值相同。B、Jvm-head最大值:配置config/jvm.options文件中:-Xmx服务器内存一般都比较大,建议配置1/...原创 2019-06-19 15:40:42 · 590 阅读 · 0 评论 -
ELK生态系统——elasticsearch集群搭建
目录1、集群节点发现模式选择:(1)单播模式:(2)多播模式:(3)选择建议:2、单机参数配置:3、集群参数配置:(1)集群名称:(2)节点名称:(3)是否有资格成为主节点:(4)是否是数据节点:(5)集群内部交互地址:(6)集群内部交互端口:(7)集群发现节点模式设置:(8)集群ping发现节点超时设置:(9)集群master节点最少数...原创 2019-06-19 15:35:43 · 548 阅读 · 0 评论 -
ELK生态系统——集群同步时间
目录(1)同步方案:(2)所有设备安装ntpd服务:(3)所有设备安装ntpdate服务:(4)时间主节点配置:A、设置网段内所有设备可以从此设备上查询同步时间:B、设置集群不适用互联网时间使用本地计算时间:C、设置节点丢失网络连接依然采用本地时间:D、设置硬件时间与系统时间同步:E、防火墙开启udp的123端口:F、设置ntpd服务开机自启:G、启动n...原创 2019-06-19 15:23:46 · 377 阅读 · 0 评论 -
ELK生态系统——es集群化各方面数据使用详图
es集群化各方面数据使用如上图所示,图解如下:1、RDBMS(关系型数据库):常见的关系型数据库比如:mysql、oracle、国产达梦、gbase等数据库,在这些关系型数据库之间数据可以通过kettle使用jdbc连接访问到数据库读取到数据,可以灵活自由的实现RDBMS之间数据跨库迁移、处理、关联等常用操作。2、logstash数据处理工具:logstash是处理RDBMS(...原创 2019-06-18 20:54:28 · 585 阅读 · 0 评论 -
ELK生态系统——JAVA与ES常见交互操作
目录(1)创建索引:A、创建索引请求:B、索引setting设置:C、索引mapping设置:D、索引别名设置:E、发送请求:F、处理响应:(2)增加单个数据:A、创建索引请求:B、创建文档数据:C、发送请求:D、处理响应:(3)增加批量数据:A、创建索引请求:B、创建文档数据:C、发送请求:D、处理响应:(4)修改数据:...原创 2019-06-12 08:30:05 · 958 阅读 · 0 评论 -
ELK生态系统——修改es中index的mapping平滑过渡数据
目录1、需求场景:2、实现思路:3、实现步骤:(1)创建索引:(2)创建索引同义词(别名):A、不需要过滤数据同义词(别名):B、需要过滤数据同义词(别名):(3)创建新索引:(4)新旧索引数据迁移:A、完整迁移数据:B、字段重命名迁移数据:C、字段值调换迁移数据:(5)修改索引同义词(别名):(6)删除旧索引:1、需求场景:E...原创 2019-06-12 08:29:54 · 1085 阅读 · 0 评论 -
ELK生态系统——常用功能数据流向图
大数据实时查询后台RDBMS与ES的整体数据流向如下图所示:大数据实时查询后台RDBMS与ES的细节数据流向如下图所示:平台集中式日志分析体系数据流向入下图所示:原文件下载地址:https://download.csdn.net/download/lsy_csdn_/11172190...原创 2019-06-12 08:30:18 · 992 阅读 · 0 评论 -
ELK生态系统——elasticsearch数据迁移
目录1、全量备份当前es数据:(1)异步备份:(2)同步备份:2、压缩全量es备份数据:3、新es配置备份路径:4、新es创建备份路径:5、新es创建备份仓库:6、迁移压缩全量es备份数据:7、新es备份路径下解压备份数据:8、新es查看备份仓库所有数据备份:9、新es恢复index数据:(1)异步恢复:(2)同步恢复:1、全量备份当前...原创 2019-06-12 08:29:17 · 748 阅读 · 0 评论 -
ELK生态系统——shell脚本定时备份elasticsearch数据
目录1、es备份说明:2、es备份思路:(1)每个index单独备份:(2)先删除旧备份再备份:(3)先备份再删除旧备份:3、es备份脚本:(1)配置文件:(2)代码:(3)配置参数说明:(4)使用注意事项:(5)定时crond配置:1、es备份说明:第一个快照会是一个数据的完整拷贝,但是所有后续的快照会保留的是已存快照和新数据之间的差异。...原创 2019-06-12 08:29:05 · 2404 阅读 · 7 评论 -
ELK生态系统——elasticsearch数据备份与恢复(单机)
目录1、首次创建备份文件路径:2、首次创建备份仓库:3、修改备份仓库的备份和存储速度:4、查看备份仓库:5、查看备份仓库中所有索引备份信息:6、手动备份索引:(1)异步备份:(2)同步备份:7、手动查看索引备份:8、手动恢复索引备份:(1)异步恢复:(2)同步恢复:9、手动删除索引备份:1、首次创建备份文件路径:在计算机上创建一个保...原创 2019-06-12 08:29:42 · 1110 阅读 · 0 评论 -
ELK生态系统——Java集成
目录1、客户端类型选择:(1)客户端介绍:A、REST API:B、Transport连接:C、多种编程语言客户端:(2)Java REST Client重点介绍:A、Java Low Level REST Client:B、Java High Level REST Client:(3)强烈推荐使用客户端:A、使用说明:B、项目集成:C、客户端初...原创 2019-06-12 08:28:50 · 1165 阅读 · 0 评论 -
ELK生态系统——简介
目录1、系统成员:2、主要功能:3、elasticsearch简介:4、logstash简介:5、kibana简介:6、beats简介:7、ELK版本选择建议:1、系统成员:ELK生态系统包含:elasticsearch、logstash、kibana以及beats软件。2、主要功能:ELK主要是一个海量可视化日志分析系统,由于elasticsea...原创 2019-06-12 08:29:31 · 807 阅读 · 0 评论 -
ELK生态系统——elasticsearch安装(单机)
目录1、准备工作:(1)创建用户组:(2)创建用户:(3)创建目录:(4)修改目录所有者:2、软件下载:3、安装环境:4、软件安装:5、配置es信息:(1)配置服务IP地址:(2)配置服务端口号:(3)配置数据存储路径:(4)配置备份存储路径:(5)配置日志存储路径:(6)配置允许跨域访问:(7)配置monitoring不可用:6...原创 2019-06-11 08:20:40 · 361 阅读 · 0 评论 -
ELK生态系统——elasticsearch-head安装(单机)
目录1、下载插件:2、创建目录:3、解压插件包:4、安装node环境:(1)下载node安装包:(2)创建目录:(3)解压node安装包:(4)配置环境变量:(5)检查安装:5、安装grunt环境:(1)安装grunt命令行工具grunt-cli:(2)安装grunt及其插件:(3)检查安装:6、配置head插件信息:(1)配置head服...原创 2019-06-11 08:21:10 · 488 阅读 · 0 评论 -
ELK生态系统——logstash安装(单机)
目录1、软件下载:2、安装环境:3、创建目录:4、软件安装:5、配置文件:(1)配置运行内存大小:(2)配置运行日志输出级别:(3)配置运行日志文件存放位置:6、使用测试:(1)命令行测试使用:(2)调用conf文件测试使用:说明:logstash是一种数据抽取工具,主要是通过jdbc将数据从关系型数据库抽入到es中。1、软件下载:ht...原创 2019-06-11 08:21:21 · 314 阅读 · 0 评论 -
ELK生态系统——kibana安装(单机)
目录1、软件下载:2、安装环境:3、创建目录:4、软件安装:5、配置信息:(1)配置kibana访问IP:(2)配置kibana访问端口:(3)配置kibana访问es地址端口:(4)配置kibana在es中存储索引名称:(5)配置kibana日志存储文件:(6)配置kibana日志是否输出:6、防火墙开启kibana端口:7、软件启动:(1...原创 2019-06-11 08:21:32 · 395 阅读 · 0 评论