- 博客(5)
- 收藏
- 关注
RSS订阅原创 【spark】新浪新闻网数据采集实时分析项目
该项目是一个基于Spark的综合实训项目，旨在实现对新浪新闻网数据的实时采集和分析。项目包括数据采集（使用Python和Scrapy框架将新浪新闻数据存入MongoDB）、数据转存（使用Scala将数据从MongoDB实时导入HDFS）、数据分析与存储（使用Spark Streaming对HDFS上的数据进行实时统计并存储到MySQL）、以及数据可视化（使用Python绘制并上传分析结果到Web端）。报告详细描述了每个步骤的功能设计、实现步骤、源码实现和运行截图。
2024-06-28 18:30:47
746
原创 从头开始Selenium+Chrome+MongoDB爬取淘宝商品信息
具体步骤：补丁下载官网： （注意要找最接近的版本）下载成功后将解压完的文件放入/user/local/bin下，作为可执行文件。command+shift+G 输入：/user/local/bin 即可进入bin文件夹终端输入：/user/local/bin/ 然后输入：ls 查看。
2023-06-08 17:38:35
68
原创 Java面向对象雇员类设计实验
Java面向对象雇员类设计实验：实现一个名为Person的类和它的子类Employee，Manager是Employee的子类。
2022-10-31 11:22:29
1550
2
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人