ETL
文章平均质量分 63
冰帆<
这个作者很懒,什么都没留下…
展开
-
采集日志通过logstash写入hdfs
本文是大数据架构技术架构图的一个重要分支,大数据的采集服务一般通过web接口的上报方式,web接口,1、写到kafka,2、通过log4j日志文件,两种方案各有优劣,1、直接写kafka,项目依赖比较重,需要加kafka组件,2、写log4j日志的方式,不需要引入kafka组件,实际项目中通过log4j配置每小时滚动生成日志比较多,我是目前采用方案2,实际如下图。原创 2022-10-24 17:08:35 · 928 阅读 · 2 评论 -
grafana监控nginx日志
用到组件:nginx ,filebeat,logstash,elasticsearch,grafana。需要注意的是最新的dashboard需要选择7.10+的elasticsearch,保存数据源后。2、filebeat 将nginx日志发往logstash,编辑filebeat.yml。本人喜欢研究新技术,并有丰富的大数据经验,希望和各位小伙伴探讨技术。看图还是比较炫酷的,那怎么才能够展示这样的大屏,咱们一步一步拆解。4、在kibana中查看elasticsearch数据。1、nginx代理设置。原创 2022-10-20 10:21:01 · 3503 阅读 · 4 评论 -
datax 离线同步SqlServer 到Mysql
DataX 实战 sqlserver to mysql原创 2022-06-27 23:34:37 · 1897 阅读 · 0 评论