大数据
文章平均质量分 91
这里是研究和探讨大数据的港湾。
play_big_knife
这个作者很懒,什么都没留下…
展开
-
大数据网站攻击实时项目架构
网站的安全监控是节日时刻和平时都需要注意的内容。大数据网站实时架构分析是对网站中的文件进行实时监控,当有黑客对文件进行攻击时,就会改变网站文件的代码,通过网络架构实时获取被修改的代码,并通过实时架构通知到网站管理员,是大数据处理这种技术的关键。后续还会带来实时网站攻周的分析专题。原创 2022-12-26 15:35:43 · 929 阅读 · 5 评论 -
Flink实战案例四部曲
使用Flink程序结合实际应用分析网络日志,分析交通灯的车流量等实战程序。充分使用window窗口实现 fiink程序在实际应用中的扩展。原创 2022-12-20 17:00:36 · 3144 阅读 · 2 评论 -
Linux搭建ELK日志收集系统构建:Filebeat+Redis+Logstash+Elasticse
Linux搭建ELK日志收集系统构建,通过filebeat收集日志,通过redis进行去重,接下来通过logstash下沉到elasticsearch中,elasticsearch中的数据也可以通过kibana进行可视化分析。这里主要介绍如何搭建这样的环境架构。原创 2022-12-19 18:51:29 · 1972 阅读 · 0 评论 -
使用Flink的各种技术实现WordCount逻辑
使用Flink技术手段实现大数据词频计算的wordcount,在不同的情况下如何使用wordcount,批处理和流处理双方面思维,结合于滚动窗口。原创 2022-12-02 23:19:15 · 1768 阅读 · 1 评论 -
elasticsearch使用logstash同步数据库实战查询分页接口
使用logstash采集mysql数据库中数据,同步到elasticsearch索引文档中,在elastiicsearch索引文档中进行复杂查询和数据分页处理,处理的结果json数据通过flask后台技术返回前台.原创 2022-08-26 06:31:27 · 1188 阅读 · 0 评论 -
Hadoop+hive+flask+echarts大数据可视化项目之flask结合echarts前后端结合显示hive分析结果
使用定时任务收集linux系统信息,收集后存储到hadoop平台,由hive导入hadoop平台的数据,通过flask+echarts前后端结合显示hive对数据的分析结果。此博客主要针对于flask编写后端接口,返回hive平台的分析结果并在前端以echarts图表的形式进行展示。......原创 2022-08-08 18:34:25 · 3912 阅读 · 2 评论 -
Hadoop+hive+flask+echarts大数据可视化项目之hive环境搭建与系统数据的分析思路
收集linux系统信息上传hadoop平台, hive导入hadoop平台的信息,将信息的分析结果以flask接口的形式返回前台,前台使用echarts进行显示。本博文主要针对于项目中hive环境的搭建及hive导入上传到hadoop中的信息,最终实现系统数据分析的思路。...原创 2022-07-26 18:01:33 · 4362 阅读 · 0 评论 -
Hadoop+hive+flask+echarts大数据可视化项目之系统信息数据上传及上传的底层实现
使用linux定时任务采集系统数据信息,上传到hadoop平台,使用hive进行系统数据的分析,分析的结果以flask接口传送到前端,前端以echarts图表展示。此博文主要针到系统信息数据如何上传到hadoop中去保存。...原创 2022-07-22 16:40:38 · 1672 阅读 · 1 评论 -
Hadoop+hive+flask+echarts大数据可视化项目之系统数据整合和hadoop环境搭建
收集系统数据上传hadoop平台,使用hive导入hadoop平台中的系统数据,HQL语句实现hive的系统数据分析,最后通过flask接口把分析结果传回前端,前端采用echarts进行大数据的可视化图形分析。本讲针对于将所有系统收集的数据采用shell脚本的方式整合,并协同搭建hadoop分布式存储平台。...原创 2022-07-20 13:53:11 · 2361 阅读 · 0 评论 -
Hadoop+hive+flask+echarts大数据可视化之系统数据收集
涉及到Hadoop分布式存储数据,将数据导入到Hive数据仓库,使用flask连接hive数据库并返回前端接口数据,前端使用echarts对数据分析结果展示,是大数据可视化的综合项目。原创 2022-07-15 12:24:49 · 2711 阅读 · 0 评论 -
Pyflink系列之使用pyflink实现flink大数据引挚的经典案例wordcount
Pyflink系列之使用pyflink实现flink大数据引挚的经典案例wordcount谈到大数据,也是数据,在专业的概念上来讲,其具备三大特征。1、数据量足够大,也就是Volume值相当特别地多。2、数据访问并发量足够高并且实时,可以用Velocity一词反映快速和实时。3、数据的类型越来越多,可以用Variety一词来反映数据的多样性。对于大数据的处理思路,普遍都是建立在通过把数据进行分区分片,并分布到各个横向扩展节点,并由调度节点进行统一管理计算。每一次你执行查询的时候,该查原创 2022-02-14 16:36:29 · 8741 阅读 · 1 评论