Logstash
RanGe*
别让我秀琴瞧不起你!
展开
-
docker搭建logstash读取宿主机文件
docker搭建logstash读取宿主机文件1 docker安装logstash2 logstash启动配置2.1 修改配置文件2.1.1 logstash.yml2.1.2 logstash-sample.conf2.1.3 pipeline.yml2.2 生成镜像2.3 logstash启动1 docker安装logstash网上有教程说搭建logstash要从官网下载, 要不然会莫名其妙的不工作了, 我没有验证这个问题, 直接从官网下载了docker run --rm -it --restar原创 2020-06-02 17:02:47 · 2176 阅读 · 0 评论 -
ubuntu下docker中的tomcat容器自启动, logstash非root用户创建自启动
ubuntu 中 docker配置tomcat自启动,logstash非root用户自启动配置tomcat开机自启配置logstash重启配置tomcat开机自启配置默认docker搭建好以后就是跟随系统自动启动的, 如果没有自动启动, 可执行如下命令sudo systemctl enable dockersudo systemctl start dockerdocker下启动tomcat时, 加入参数--restart always即可让tomcat在手动重启/意外重启/意外宕机的等情况下,原创 2020-06-01 16:57:40 · 613 阅读 · 0 评论 -
ubuntu下搭建logstash环境, 监听日志文件, 发送到java接口
最近遇到一个需求, 需要写一个java接口, 用来获取日志文件java接口最简单的就是搭建一个springboot环境, 在ubuntu中搭建docker环境, 然后在里面运行tomcat, 具体操作流程参考上一篇文章 ubuntu下搭建docker 部署tomcat 发布springboot war包 实现过程及问题记录这里介绍的是ubuntu下搭建logstash环境, 首先下载logstash安装包下载地址 https://www.elastic.co/cn/downloads/logstash原创 2020-06-01 14:21:48 · 734 阅读 · 0 评论 -
使用kettle+kafka+logstash+elasticsearch实现数据清洗入库并快速搜索
警告: 本篇博客是记录一个学习的过程,中间会有很多弯路kettle中可以使用多种输入输出, 常用的有:表输入,文件输入,表输出,文件输出等, 本文用到的输入为txt文本文件输入, 输出类型为输出到kafka这里解释一下为什么要是用kafka而不是直接生成文件到本地因为需要处理的数据是比较多的, 一般是几亿条, 或者几十亿条, 文件大概是几个G到几十G, 如果生成的文件落地到磁盘, 那将会非常耗费资源kettle清洗数据建立快速索引kettle从数据源获取数据, 这里是从txt文件中获取对文件中数据进原创 2020-05-15 16:42:22 · 18455 阅读 · 1 评论 -
elasticsearch从txt文件中导入数据,filebeat+logstash+kafka+elasticsearch
elasticsearch从txt文件中导入数据 filebeat+logstash+kafka+elasticsearch1. 直接使用logstash+elasticsearch导入1.1 logstash安装1.2 logstash配置文件1.3 logstash启动以及常见问题2. 大量数据时使用kafka进行削峰处理数据2.1 logstash配置2.2 logstash启动3. 文件过...原创 2020-04-26 16:25:33 · 2432 阅读 · 0 评论