Spark期末大作业

  

1. 需求描述

本次实验需要Linux：Ubuntu 18.04、Hadoop3.1.3、Python: 3.6、Spark: 2.4.0、Jupyter Notebook、数据集来自数据网站Kaggle的美国新冠肺炎疫情数据集，该数据集以数据表us-counties.csv组织，其中包含了美国发现首例新冠肺炎确诊病例至2020-05-19的相关数据。其中，Hadoop需要配置完全并启动，pip需要更新到22.0以上版本并利用“pip3 install pandas”命令安装pandas包，python版本要更新到3.6以上并设置成默认版本。

1. 环境介绍

在Hadoop官网下载hadoop-3.1.3.tar.gz安装完成以后，创建hadoop用户，安装SSH、配置SSH无密码登陆，安装Java环境，配置Hadoop单机 (非分布式)，配置Hadoop伪分布式，配置完成以后运行Hadoop伪分布式实例并创建实验所需的文件夹。

在Spark官网下载Spark2.4.0，安装Hadoop（伪分布式），安装JAVA JDK，安装Spark（Local模式）。

更新python版本到3.8、更新Python pip版本到22.0

1. 数据来源描述

数据集来自数据网站Kaggle的美国新冠肺炎疫情数据集，该数据集以数据表us-counties.csv组织，其中包含了美国发现首例新冠肺炎确诊病例至2020-05-19的相关数据。数据包含以下字段：

字段名称 字段含义 例子

date 日期 2020/1/21；2020/1/22；etc

county 区县（州的下一级单位） Snohomish；

state 州 Washington

cases 截止该日期该区县的累计确诊人数 1,2,3…

deaths 截止该日期该区县的累计确诊人数 1,2,3…

 

1. 数据上传及上传结果查看

Us-counties.csv

 

Us-counties.txt