你们需要的数据集,都给准备好了!

大数据文摘出品

来源:medium

编译:张大笔茹、夏雅薇

相信很多同学一直苦于没有数据集可以练习,这里给大家提供了一份可以利用业余时间完成的数据科学项目清单,一共14个!

项目分为三种类型:

  • 可视化项目

  • 探索性数据分析(EDA)项目

  • 预测建模

可视化项目

最容易上手的就是数据可视化, 以下三个数据集可以用于创建一些有意思的的可视化效果并加到你的简历中。

新冠病毒可视化

学习如何使用Plotly构建动态可视化数据,展示冠状病毒是如何在全球范围内传播的。Plotly很好用,它可以做动态可视化,好看且操作简单。

难易程度:简单

数据集:

https://www.kaggle.com/sudalairajkumar/novel-corona-virus-2019-dataset

教程:

https://towardsdatascience.com/visualizing-the-coronavirus-pandemic-with-choropleth-maps-7f30fccaecf5

澳洲大火数据可视化

2019-2020年的丛林大火季,也称为黑色夏天,由2019年6月开始的几场极端野火组成的。据维基百科统计,这场大火烧毁了约1,860万公顷的土地和5,900多座建筑物。

这是一个有趣的项目,可以利用Plotly或Matplotlib数据可视化工具来可视化野火的规模和对地理的影响。

难易程度:简单

数据集:

https://www.kaggle.com/carlosparadis/fires-from-space-australia-and-new-zeland

地表温度可视化

你是否怀疑过全球变暖的观点?创建一些数据可视化效果,显示地球表面温度如何随时间变化,并可以通过创建折线图或其他动画的Choropleth贴图来实现!也可以创建一个预测模型来预测未来五十年内地球的温度。

难易程度:介于简单到中等之间

数据集:

https://www.kaggle.com/berkeleyearth/climate-change-earth-surface-temperature-data/kernels

探索性数据分析项目

探索性数据分析(EDA),也称为数据挖掘,意思是数据分析过程中使用了多种技术来更好理解数据。

纽约Airbnb数据挖掘

自2008年以来,Airbnb使游客和房东出行更方便,提出更多个性化的体验世界的方式。该数据集包含有关2019年纽约出租的信息以及包含其地理信息,价格,评论数量等。

可以分析的一些角度如下:

  • 哪些区域生意最好,为什么?

  • 哪些区域的流量比其他区域大,为什么?

  • 价格,评论数量和预订天数之间是否存在一些关系?

难易程度:中等

数据集:

https://www.kaggle.com/dgomonov/new-york-city-airbnb-open-data

哪些因素与员工离职和绩效有关

IBM公开了一个综合数据集,可以使用它来了解各种因素如何影响员工的流失率和满意度。一些变量包括教育程度,工作相关性,绩效评估和工作生活平衡程度等。

分析此数据集,找到任何确实影响员工满意度的变量,另外,还可以看看是否可以对变量进行重要程度排名。

难易程度:简单

数据集:

https://www.kaggle.com/pavansubhasht/ibm-hr-analytics-attrition-dataset

世界大学排名

你认为你的国家拥有世界上最好的大学吗?成为“最好”大学的衡量标准是什么?该数据集包含三个全球大学排名方式。使用此数据,你是否可以回答以下问题:

顶尖的大学都在哪些国家?

决定世界排名的主要因素是什么?

难易程度:简单

数据集:

https://www.kaggle.com/mylesoneill/world-university-rankings

饮酒与在校表现

喝酒会影响学生的成绩吗?如果不会,那有什么别的影响吗?这个数据是从中学数学和葡萄牙语课程的学生进行的一项调查中获得的。它包含几个变量,例如饮酒量,家庭人数,参与课外活动。

利用这些数据,挖掘学校成绩与各种因素之间的关系。另外,看看是否可以根据其他变量来预测学生的成绩!

难易程度:简单

数据集:

https://www.kaggle.com/uciml/student-alcohol-consumption

宠物小精灵数据挖掘

对所有游戏玩家来说,这是一个包含来自七代802个 Pokemon的信息数据集。试着回答以下几个问题!

  • 哪一代宠物小精灵最强?哪代最弱?

  • 哪种类型神奇宝贝最强?哪种最弱?

  • 能否建立分类器来识别神奇宝贝?

  • 身体特征与力量状态(进攻,防守,速度等)之间是否有相关性?

难易程度:简单

数据集:

https://www.kaggle.com/rounakbanik/pokemon

探索影响预期寿命的因素

世卫组织建立了一段时间内所有国家健康状况的数据集,其中包括预期寿命,成人死亡率等方面的统计数据。使用此数据集,探索各种变量之间的关系,预测对预期寿命的最大影响因素是什么?

请尝试回答以下问题:

  • 最初选择的各种预测因素是否真的影响预期寿命?实际影响预期寿命的预测变量有哪些?

  • 预期寿命值低于(<65)的国家是否应该增加其医疗保健支出以改善其平均寿命?

  • 婴儿和成人死亡率如何影响预期寿命?

  • 预期寿命与饮食习惯,生活方式,运动,吸烟,饮酒等是正相关还是负相关?

  • 是否接受教育对人类寿命有何影响?

  • 预期寿命与饮酒是正相关还是负相关?

  • 人口稠密的国家的预期寿命是否有降低的趋势?

  • 免疫覆盖率对预期寿命有什么影响?

难易程度:简单

数据集:

https://www.kaggle.com/kumarajarshi/life-expectancy-who

预测模型

能源消耗的时间序列预测

该数据集由美国区域传输组织PJM网站上的功耗数据组成,使用此数据集,查看是否可以构建时间序列模型来预测能耗。除此之外,还可以查看是否可以找到一天中每个小时的趋势,假日用电量以及长期趋势!

难度:中高级

数据集:

https://www.kaggle.com/robikscube/hourly-energy-consumption

贷款预测

该数据集取自Analytics Vidhya,包括 615行和13列有关已批准和尚未批准的历史贷款信息。你是否可以创建一个模型来预测贷款是否会获批。

难易程度:简单

数据集:

https://datahack.analyticsvidhya.com/contest/practice-problem-loan-prediction-iii/

二手车价格计算器

Craigslist是全球最大的二手车经销商,该数据集由Craigslist的抓取数据组成,每隔几个月更新一次。使用此数据集,查看是否可以创建一个数据集来预测一辆汽车价格是否被高估或低估了。

难易程度:中等

数据集:

https://www.kaggle.com/austinreese/craigslist-carstrucks-data

信用卡欺诈检测

  

该数据集显示了两天内发生的交易,其中284,807笔交易中有492笔欺诈。数据高度正态分布,欺诈占所有交易的0.172%。学习如何使用不正太的数据集并建立信用卡欺诈检测模型。

难易程度:中高级

数据集:

https://www.kaggle.com/janiobachmann/credit-fraud-dealing-with-imbalanced-datasets

皮肤癌图像检测

通过10,000多张图像来构建神经网络来检测皮肤癌。这绝对是最难的项目,需要有关神经网络和图像识别的储备知识。

难易程度:难

数据集:

https://www.kaggle.com/kmader/skin-cancer-mnist-ham10000

相关报道:

https://towardsdatascience.com/14-data-science-projects-to-do-during-your-14-day-quarantine-8bd60d1e55e1

【资源介绍】 基于HAM10000数据集实现皮肤癌分类python源码+使用说明.zip 这是一个用于训练图像分类模型的代码。在运行代码之前,用户需要安装以下依赖库:argparse, os, pandas, numpy, PIL, datasets, torchvision, tqdm和transformers。用户还需要从Hugging Face上下载所需的预训练模型。 参数说明 - `--metadata_path`:metadata文件的路径。默认为"./archive/HAM10000_metadata.csv"。 - `--images_dir`:图像文件夹的路径。默认为"./archive/HAM10000_images/"。 - `--model_dir`:预训练模型的路径。默认为"../model/vit-large-patch16-224-in21k"。 - `--checkpoints_dir`:保存检查点文件的文件夹路径。默认为"./checkpoints"。 - `--learning_rate`:学习率。默认为1e-5。 - `--batch_size`:批大小。默认为64。 - `--epochs`:训练轮数。默认为5。 - `--warmup_ratio`:预热步骤的比例。默认为0.1。 - `--split`:训练-验证数据集的分割比例。默认为0.8。 - `--gpu`:指定使用哪张GPU。默认为"0"。 - `--logging_steps`:每隔多少步记录一次训练日志。默认为50。 用户可以在命令行中传递这些参数,例如: ```shell python train-hf.py --metadata_path ./archive/HAM4000_metadata.csv \ --images_dir ./archive/HAM10000_images/ \ --checkpoints_dir ./checkpoints \ --learning_rate 1e-4 \ --batch_size 64 \ --epochs 20 \ --warmup_ratio 0.1 \ --model_dir ../model/vit-large-patch16-224-in21k \ --gpu 5,6,7 \ --logging_steps 1 ``` 在代码运行过程中,会执行以下步骤: 1. 读取metadata文件,获取图像文件名和标签。 2. 将图像读入内存,并随机打乱。 3. 将数据集划分为训练集和验证集。 4. 对图像进行预处理,包括随机裁剪、归一化和转换为tensor。 5. 加载预训练模型,构建分类器。 6. 训练模型,并在验证集上评估模型性能。 7. 在训练过程中,每隔logging_steps步记录一次训练日志,包括损失值、准确率等指标。 8. 在训练结束后,保存模型的权重文件到checkpoints_dir文件夹中。 【备注】 该项目是个人毕设/课设/大作业项目,代码都经过本地调试测试,功能ok才上传,高分作品,可快速上手运行!欢迎下载使用,可用于小白学习、进阶。 该资源主要针对计算机、通信、人工智能、自动化等相关专业的学生、老师或从业者下载使用,亦可作为期末课程设计、课程大作业、毕业设计等。 项目整体具有较高的学习借鉴价值!基础能力强的可以在此基础上修改调整,以实现不同的功能。 欢迎下载使用,也欢迎交流学习!
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值