- 博客(2)
- 收藏
- 关注
RSS订阅原创 美国新冠肺炎疫情数据利用spark进行数据分析并对结果可视化操作
------------------------------背景需求------------------------- 本案例以2020年美国新冠肺炎疫情数据作为数据集，以Python为编程语言，使用Spark对数据进行分析，并对分析结果进行可视化。 一、实验环境 二、数据集 1.数据集介绍 2.格式转换 3.将文件上传至HDFS文件系统中 三、使用Spark对数据进行分析 1.完整代码 2.读取文件生成DataFrame 3.进行数据分析 4.结果文件 四、数据可视化 1.可视化工具选择与代码 2.结果
2021-06-09 14:09:11
2971
原创 调用MapReduce对文件中各个单词出现次数进行统计
------------------------------背景需求------------------------- 1.将待分析的文件（不少于10000英文单词）上传到HDFS 2.调用MapReduce对文件中各个单词出现的次数进行统计 3.将统计结果下载本地。 一、安装Ubuntu 二、准备工作 1.创建Hadoop账户 2.设置hadoop密码 : 3.为hadoop用户增加管理员权限: 4.更新 apt 5.安装vim 6.配置SSH 三.安装Java环境 1.安装JDK 2.验证JDK安装情
2020-12-19 17:58:32
317
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人