机器学习理论知识
文章平均质量分 89
卖strawberry的小女孩
道阻且长,行则将至。
展开
-
机器学习、深度学习常用专业术语
主要记录一些深度学习中可能用到的专业术语,一般是碰到了不懂的才记录,所有没有按一定的规律记录。1、梯度下降(gradient descent)2、学习速率(learning rate):学习率指每次迭代中 对成本函数的“最小化次数”。**3、反向传播(back propagation):**一次迭代后,根据产生的结果计算出整个网络的偏差,然后用偏差结合“成本函数的梯度”,对“权重因子进行调整”,使得下次迭代的过程中偏差变小。这样一个结合成本函数的梯度 来调整 权重因子 的过程就叫做反向传播。4、常用原创 2021-12-27 13:36:47 · 864 阅读 · 0 评论 -
机器学习笔记1——机器学习的分类、性能度量以及特征工程
分类按任务类型:回归模型、分类模型、结构化学习模型按学习理论:监督学习:训练样本带有标签半监督学习:训练样本部分有标签无监督学习:训练样本无标签,例如聚类算法强化学习:智能体通过环境进行交互获得的奖赏来指导自己的行为,最终目标是使智能体获得最大的奖赏性能度量回归问题:1、均方误差2、RMSE均方根误差:观测值与真值偏差的平方和与观测次数m比值的平方根,用来衡量观测值同真值之间的偏差。3、SSE和方误差4、MAE:直接计算模型输出与真实值之间的平均绝对误差5、MAPE:不仅原创 2022-01-06 15:11:36 · 1484 阅读 · 0 评论 -
机器学习笔记3——梯度下降、损失函数与数据不平衡
1、常用梯度下降法机器学习绝大部分问题都是优化问题,绝大部分优化问题可以使用梯度下降法解决。主要目的是通过迭代找到目标函数的最小值,或者收敛到最小值。函数沿梯度的方向具有最大的变化率,朝着梯度相反的方向,就能让函数值下降的最快。在单变量的函数中,梯度其实就是函数的微分,代表着函数在某个给定点的切线的斜率在多变量函数中,梯度是一个向量,向量有方向,梯度的方向就指出了函数在给定点的上升最快的方向α在梯度下降算法中被称作为学习率或者步长,意味着我们可以通过α来控制每一步走的距离,J’是对J求导原创 2022-01-21 17:19:56 · 1353 阅读 · 0 评论 -
机器学习笔记2——过拟合、欠拟合、正则化、方差、偏差
过拟合、欠拟合和正则化过拟合指模型的训练误差与测试误差(泛化误差)之间差距过大,也就是训练数据误差渐渐减小,可验证集上的误差却渐渐增大,在新数据上的表现一般(泛化能力差)。训练初期,训练不足,学习器的拟合能力不强,偏差大。充分训练后,学习器拟合能力强,训练数据的轻微扰动会导致学习器发生显著变化,产生过拟合。欠拟合指模型不能在训练集上获得足够低的训练误差,由于特征维度过少,导致拟合的函数无法满足训练集,导致误差较大。正则化为了减少测试误差的策略统称为正则化方法,代价可能是增大训练误差。...原创 2022-01-20 14:49:41 · 1559 阅读 · 0 评论