pyspark
文章平均质量分 70
知恩呐111
undefined
展开
-
Structured Streaming基于股票值分析(pyspark版)
本实验将股票数据进行过滤处理然后使用socket源将初始数据发送到客户端通过structured streaming累计计算求股票平均值分别计算出MA10、MA40,然后将两种平均值进行比较判断买入卖出的情况。本次实验中成功使用Socket源发送数据给客户端,然后客户端处理数据,实现了股票买入卖出的分析,并展示了股票的变化趋势。将MMA40.py文件放到虚拟机上进行MA40数据处理。将MMA10.py文件放到虚拟机上进行MA10数据处理。需要对数据进行过滤处理仅保留日期和最终股票值。...原创 2022-08-17 15:08:42 · 468 阅读 · 1 评论 -
SparkStreaming商品关注度分析(基于pyspark)
本次实验基于pyspark,使用Socket来模拟用户浏览商品产生实时数据,数据包括用户当前浏览的商品以及浏览商品的次数和停留时间和是否收藏该商品。使用SparkStreaming构建实时数据处理系统实现了对商品关注度的统计。...原创 2022-05-24 20:30:28 · 504 阅读 · 0 评论