![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
EFLK
Angus博客
知足长乐,助人为乐,自得其乐。
展开
-
EFLK海量日志实时分析检索系统应用实践-16.应用实战收集tomcat日志
打开157节点 tomcat 修改server.xml 文件输出json格式查看日志输出 年月日时分秒修改方法增加注释获取匹配规则:logstash grok配置fileBeat配置fileBeat 先备份老的修改为上述文件描述内容启动fileBeat输出到Kafka后 可以通过Kafka可视化工具 Kafka Eagle 查看可以看到topic有五个点击进去看到 两个 tomcat 之前配置文件...原创 2021-10-19 09:45:00 · 180 阅读 · 0 评论 -
EFLK海量日志实时分析检索系统应用实践-15.应用实战收集http日志收集
还是在157服务器配置,先关闭nginx服务器,然后配置apache配置内容 json输出日志文件路径启动apache服务然后访问服务器,打印日志:和Nginx类似把之前的Nginx 修改尾http打开配置文件修改启动logstash启动Filebeatlogstash打印日志Kibana创建新的索引然后返回首页查看数据...原创 2021-10-18 21:00:00 · 170 阅读 · 0 评论 -
EFLK海量日志实时分析检索系统应用实践-14.企业应用中典型的EFLK应用架构解析,应用实战收集nginx日志收集
Nginx日志分析介绍完后,,在157业务服务器配置nginx在http部分配置然后重启nginx,并查看日志访问nginx就会产生日志日志打印了,现在开始配置fileBeat,logstash,kibana157节点的配置详情151节点配置logstash然后启动logstash157启动fileBeat启动后数据就会产生日志接着安装kibana打开kibana可视化页面...原创 2021-10-17 07:15:00 · 305 阅读 · 0 评论 -
EFLK海量日志实时分析检索系统应用实践-13.elasticsearch启动和head插件
elasticsearch启动“:同理启动其它两个节点,并且查看进程信息发现ElasticSearch 启动用的自己的jdk启动第三个节点的es验证是否启动成功,可以直接访问端口显示集群的名称,版本等等信息80的节点152的节点head插件 一个图形化的插件,这样进行增删改查方便点github的开源插件目录结构修改APP.js 文件地址修改为172.16.213.138:9200,默认是localhost去1原创 2021-10-16 07:30:00 · 173 阅读 · 0 评论 -
EFLK海量日志实时分析检索系统应用实践-12.elasticsearch架构分析,系统基础调优,安装,配置集群
安装后查看安装路径bin目录的启动文件和config的配置文件编辑配置文件elasticsearch.ymlcluster.name : 集群名称node.name: 接点名称 server1 其它的两个服务器分别是2 和3node.master 是否允许masternode.data.是否允许存储数据path.data 数据存储路径,可以设置多个路径path.logs 日志存储路径bootstrap.m...原创 2021-10-15 14:28:27 · 170 阅读 · 0 评论 -
EFLK海量日志实时分析检索系统应用实践-11.启动filebeat,分析,输入到kafka,redis和logstash
启动启动日志用157的服务器登陆,输入错误密码。156会产生一条日志日志是json格式 包含了时间元数据错误信息等等登陆Kafka服务器,查看topic 列表 发现创建了 oslogs消费Kafka数据会发现数据很多,而我们只需要message数据处理方式,修改filebeat 配置文件放开processors drop_fields 就是删除指定字段,这样传递给Kafka 的时候 数据就只有自己需要的字段 重启原创 2021-09-07 21:33:27 · 252 阅读 · 0 评论 -
EFLK海量日志实时分析检索系统应用实践-10.filebeat基础介绍以及运行架构分析
探测器Prospector和收集器Harvester,处理程序Spooler组成 内容可以写入Kafka ,Redis,Logstash等安装后的路径配置文件为filebeat.yml 打开由于内容多,过滤#号后打开类型是log,enable ture 是否启动paths : 监控log路径fields:增加自定义字段 用来区分filebeat,config.modeles:模块配置name 标识setup.kib...原创 2021-09-07 21:29:07 · 170 阅读 · 0 评论 -
EFLK海量日志实时分析检索系统应用实践-9.Kafka集群的基本命令,生产和消费数据
显示列表创建topic查看状态生产消息消费消息删除topic原创 2021-09-07 21:24:18 · 174 阅读 · 0 评论 -
EFLK海量日志实时分析检索系统应用实践-8.zookeeper安装配置
下载解压后目录重命名配置文件,然后修改配置文件server.1 服务的myid 需要配置一个myid 为1 ,同理其它三个服务器分别是2,3启动分别启动三个服务器,,然后启动Kafka。。原创 2021-09-07 21:21:51 · 177 阅读 · 0 评论 -
EFLK海量日志实时分析检索系统应用实践-7.Kafka分布式集群构建部署过程
bin目录 包含了很多shell脚本config 配置文件 主要掌握 server.peopertieslogs 存储了本身的日志文件,还有消息文件配置文件配置:brokerid 唯一 不能相同listeners 监听器 配置 配置本身服务器ip和吗,默认监听端口默认的消息存储路径,在logs下,,也可以自己修改。。num.partitions = 6 partition配置默认消息保存时间segment 大小 一个G 超过自动创建新文...原创 2021-09-07 21:18:19 · 184 阅读 · 0 评论 -
EFLK海量日志实时分析检索系统应用实践-5.logstash 输出插件 output
输出到文件中设置启动服务控制台输入内容会看到自动创建了一个文件 path=......08.log查看文件内容输出尾压缩文件配置启动服务,输入内容,发现创建了压缩文件解压查看原创 2021-08-31 20:54:04 · 136 阅读 · 0 评论 -
EFLK海量日志实时分析检索系统应用实践-4.logstash 过滤器插件 Filter
查看 语法的默认定义 IP 都是正则提前定义好的默认通用模式 列表展示的都是模式都是对应的正则改造 ,拆分后message数据相当于存储了两份,,一份拆分后的,一份原生的,,原生就就可以删除remove field删除加入date插件把日志生成的时间timestamp复制到@timestamp查询时间,因为默认的@timestamp 是查询时间并不是日志生成的时间,复制后多余的时间字段就没用了可以删除...原创 2021-08-31 20:51:49 · 142 阅读 · 0 评论 -
EFLK海量日志实时分析检索系统应用实践-3.logstash 编码插件 codec
输出就是一个普通的字符串,,输入什么 输出什么,,输出这样的是原封不动的输出,,输入什么输出什么原创 2021-08-31 17:13:55 · 130 阅读 · 0 评论 -
EFLK海量日志实时分析检索系统应用实践-2.logstash 输入插件 input
从键盘输入 stdinadd field 增加字段,,配置的时候是什么,,输出就是什么,,可以用来特殊过滤使用原创 2021-08-31 17:10:52 · 143 阅读 · 0 评论 -
EFLK海量日志实时分析检索系统应用实践-1.logstash介绍配置
文件目录介绍服务启动指令, input输入 stdin 控制台的意思,也就是控制台输入, output输出方式,也是控制台输出启动报错,提示有一个进程启动了,,但是可以启动多个,启动多个进程需要指定path data路径然后再启动时候加上路径指定 再次启动,默认安装一次启动是不需要配置的,用的默认路径启动后测试简单的输入输出指令如果配置过多控制台编写不合适,,写一个配置文件把指令放进去:X! 保存并退出指令读取配置文...原创 2021-08-31 17:08:01 · 218 阅读 · 0 评论 -
EFLK海量日志实时分析检索系统应用实践-6.Kafka 的概念与角色术语
原创 2021-09-07 21:14:20 · 183 阅读 · 0 评论