![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
跟李沐学AI——实用机器学习
文章平均质量分 79
有ML基础,复习巩固用
Jun-llj
系统化学习让人成长,碎片化学习让人焦虑
展开
-
【跟李沐学AI—机器学习】2 神经网络
*池化层/汇聚层:**当搜寻的区域发生平移时,这片区域的像素最大值/平均值也会发生平移,只要抓住这个最大值/平均值就可以补偿平移带来的变化。假设要在某图像中寻找一个戴白帽子的人,即使这个戴白帽子的人在图像中的位置变化了,但是这块区域的像素信息不变,即。的“world”为隐藏状态,不论之后还有多少层,这个“world”包含的信息不变,包含过去时间所有的信息。先输入“hello”,通过全连接层预测得到“world”,先不进行softmax操作,把这个得到的、的“world”和②当前信息的“world”原创 2023-08-15 21:57:47 · 74 阅读 · 0 评论 -
【跟李沐学AI—机器学习】1 概述、决策树、线性模型
不停做决策(yes or no问题),直至达到树的末端,即叶子,得到类别有机器学习基础。原创 2023-08-15 21:53:49 · 89 阅读 · 0 评论 -
【跟李沐学AI—机器学习】4 模型验证——验证集
I.I.D即独立同分布(independent and identically distributed,i.i.d.)在概率统计理论中,指随机过程中,任何时刻的取值都为随机变量,如果这些随机变量服从同一分布,并且互相独立,那么这些随机变量是独立同分布。如句子、房价(和时间有关)、不同类别样本不均匀的数据(训练时候看得多了自然效果好)4. 每次用不同的部分作为测试集,重复步骤2和3 K次。1. 将原始数据集划分为相等的K部分(“折”)2. 将第1部分作为测试集,其余作为训练集。原创 2023-08-15 22:07:31 · 148 阅读 · 0 评论 -
【跟李沐学AI 实用机器学习】全部笔记
简单来说,就是一个玄学,没法科学解释每个参数的作用,只能靠经验和直觉介绍了几个记录实验数据的工具,如tensorboard、weights&bias。原创 2023-08-11 22:26:39 · 409 阅读 · 1 评论 -
【跟李沐学AI—机器学习】3 评估指标
使用旧数据训练得到的模型,在新的数据上预测效果怎么样一般是通过评估指标来进行模型的选择。原创 2023-08-15 22:04:57 · 72 阅读 · 0 评论 -
【跟李沐学AI—机器学习】6 模型的调参
简单来说,就是一个玄学,没法科学解释每个参数的作用,只能靠经验和直觉介绍了几个记录实验数据的工具,如tensorboard、weights&bias。原创 2023-08-15 22:16:32 · 97 阅读 · 0 评论 -
【跟李沐学AI—机器学习】5 模型优化
与bagging不同,stacking可以是一起使用不同类别的模型,数据输入到不同的模型中训练,其中不需要bootstrap,即用相同的数据训练不同的模型框架,最后把所有结果用线性连接起来,即加权求和得到最终输出。n为学习率,可以对新模型ht进行正则化,在Boosting中叫做shrinkage收缩(n不为1,当n=1时,即ht完全拟合了残差,容易造成模型Ht+1的过拟合)训练n个模型,若为回归问题,会把n个训练结果做平均,得到Bagging结果,即用不同的数据训练一个模型框架。采样越多,方差越小。原创 2023-08-15 22:12:35 · 101 阅读 · 0 评论 -
【跟李沐学AI—机器学习】7 深度神经网络的共用设计及微调
所以NLP更多使用自监督训练,即标号是自己产生的,著名模型有Language model(LM,预测下一个词)、Masked language model(MLM,随机遮挡词语并进行预测,即完形填空)对数据进行标准化,使得数据均值为0、方差为1,可以使得损失函数更加平滑(当x和y相隔较远时,其导数不会有太大变化,这样子学习率可以设定得更大一些,即步长更大)。而预训练模型一般是在比较大的数据上训练,具有一定的泛化能力,虽然在最后的解码器中不太起作用,但是在编码器中多多少少学到了东西。神经网络大致可分为两块。原创 2023-08-15 22:17:42 · 73 阅读 · 0 评论