数据采集
文章平均质量分 92
play_big_knife
这个作者很懒,什么都没留下…
展开
-
大数据网站攻击实时项目架构
网站的安全监控是节日时刻和平时都需要注意的内容。大数据网站实时架构分析是对网站中的文件进行实时监控,当有黑客对文件进行攻击时,就会改变网站文件的代码,通过网络架构实时获取被修改的代码,并通过实时架构通知到网站管理员,是大数据处理这种技术的关键。后续还会带来实时网站攻周的分析专题。原创 2022-12-26 15:35:43 · 908 阅读 · 5 评论 -
Flink实战案例四部曲
使用Flink程序结合实际应用分析网络日志,分析交通灯的车流量等实战程序。充分使用window窗口实现 fiink程序在实际应用中的扩展。原创 2022-12-20 17:00:36 · 3103 阅读 · 2 评论 -
Spring Boot项目使用RabbitMQ队列
Spring Boot项目中使用Rabbitmq做为消息队列。消费队列可以实现生产者和消费者之间的和谐通信。原创 2022-12-20 14:34:34 · 3350 阅读 · 0 评论 -
Linux搭建ELK日志收集系统构建:Filebeat+Redis+Logstash+Elasticse
Linux搭建ELK日志收集系统构建,通过filebeat收集日志,通过redis进行去重,接下来通过logstash下沉到elasticsearch中,elasticsearch中的数据也可以通过kibana进行可视化分析。这里主要介绍如何搭建这样的环境架构。原创 2022-12-19 18:51:29 · 1962 阅读 · 0 评论 -
elasticsearch使用logstash同步数据库实战查询分页接口
使用logstash采集mysql数据库中数据,同步到elasticsearch索引文档中,在elastiicsearch索引文档中进行复杂查询和数据分页处理,处理的结果json数据通过flask后台技术返回前台.原创 2022-08-26 06:31:27 · 1171 阅读 · 0 评论 -
Hadoop+hive+flask+echarts大数据可视化之系统数据收集
涉及到Hadoop分布式存储数据,将数据导入到Hive数据仓库,使用flask连接hive数据库并返回前端接口数据,前端使用echarts对数据分析结果展示,是大数据可视化的综合项目。原创 2022-07-15 12:24:49 · 2677 阅读 · 0 评论