SparkStream实时分析统计展示共享单车使用人数

• 原文链接
  楞伽山人帖-SparkStream实时分析统计展示共享单车使用人数

实验结果展示

数据集

hour.csv

instant,dteday,season,yr,mnth,hr,holiday,weekday,workingday,weathersit,temp,atemp,hum,windspeed,casual,registered,cnt
1,2011-01-01,1,0,1,0,0,6,0,1,0.24,0.2879,0.81,0,3,13,16

此数据集包含的是从 2011 年 1 月 1 日到 2012 年 12 月 31 日期间每天每小时的骑车人数。骑车用户分成临时用户和注册用户，cnt 列是骑车用户数汇总列。你可以在上方看到前几行数据。

实验说明

将数据文件中每小时的骑车人数当做每10秒的使用人数使用，传入kafka中，由Spark实时读取并统计时间窗口中的使用人数，再传回kafka，界面实时展示时间窗口的统计结果

1. python 读入数据集文件，并将使用人数字段每隔0.1s传入 kafka 队列