Datawhale AI 夏令营,专属小白的一场酣畅淋漓之旅途

啥也不会想要学习机器学习,怎么办,先硬着头皮加入datawhale的机器学习夏令营,我这么干了,对于一个编程小白,如何学习,以下为我坎坷曲折的task完成旅途:

对于第一次task1,点点手指,有飞浆的云平台,有写好的代码太过于简单,task2就要自己配置,在本地运行:

我是这么学习的,首先打开学习手册,阅读内容,了解机器学习的实现过程:

探索性数据分析、数据预处理、提取特征、切分训练集与验证集、训练模型、预测结果。

不太懂就问问kimi,他说:

探索性数据分析(EDA):

目的:了解数据的基本特征,发现数据中的模式、趋势和异常值。
方法:包括绘制数据的分布图(如直方图、箱线图)、计算描述性统计量(如均值、中位数、标准差)、相关性分析(如皮尔逊相关系数)等。
数据预处理:

目的:将原始数据转换为适合机器学习模型处理的格式。
步骤:
缺失值处理:填充或删除缺失值。
异常值处理:识别并处理异常值。
数据类型转换:将数据转换为适当的类型,如将文本标签转换为数值标签。
数据标准化/归一化:调整数据的尺度,使其在相同的范围内,便于模型处理。
提取特征:

目的:从原始数据中提取出对预测有帮助的特征。
方法:
特征工程:通过数学变换、聚合、选择等方法生成新的特征。
降维:使用主成分分析(PCA)、线性判别分析(LDA)等方法减少特征的数量,同时尽量保留数据的原始信息。
切分训练集与验证集:

目的:将数据集分为两部分,一部分用于训练模型,另一部分用于验证模型的泛化能力。
方法:
随机切分:随机选择部分数据作为训练集,剩余数据作为验证集。
分层切分:确保训练集和验证集中各类别的分布与原始数据集一致。
训练模型:

目的:使用训练集数据训练一个能够预测或分类的模型。
步骤:
选择模型:根据问题类型(如回归、分类、聚类)选择合适的模型。
参数调优:通过交叉验证等方法调整模型参数,优化模型性能。
模型评估:使用验证集评估模型的性能,常用的评估指标包括准确率、召回率、F1分数等。
预测结果:

目的:使用训练好的模型对新数据进行预测。
步骤:
应用模型:将新数据输入模型,获取预测结果。
结果解释:对预测结果进行解释和分析,评估其在实际应用中的有效性。

接下来就是了解算法模型:GBDT,最终使用的为lightgbl,不懂就百度

有志同道合的朋友还附上了链接:https://zhuanlan.zhihu.com/p/99069186

接下来就来到代码环节,不懂就先跑,在pycharm中跑:不理解的地方我通过两个方法:

1.直接丢给kimi。让他回答实现了什么功能,把其中的函数用法都介绍一下;

2.print大法:直接在中间疯狂print看数据集所发生的变化

途中报错两次:

一个是在数据路径报错(通过添加r或者改/为\修复)

另一个看不懂,好像是模型调用过程参数设置出错,但是通过水友和助教帮助(感谢水友和助教)成功解决。

第一次跑完一个机器学习过程:爽!

在这个过程我发现对设备还是有点要求,电脑呼呼转,嘎嘎发热,搞了几个云平台发现效果也不怎么样,还得探索探索

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值