- 博客(5)
- 收藏
- 关注
RSS订阅原创 ML笔记（3）线性回归的正则化
先举一个多项式回归的例子，当我们使用多项式回归的时候，如果没有对多项式的系数进行限制，拟合的模型过拟合的概率极高，所以我们需要通过一些方法限制多项式系数的变化。以下的正则化改进从损失函数，减少过拟合概率。 1 正则化概念 简单来说，正则化是一种为了减小测试误差的行为(有时候会增加训练误差)。我们在构造机器学习模型时，最终目的是让模型在面对新数据的时候，可以有很好的表现（即增加模型的泛化能力）。当你...
2020-03-26 14:11:41
358
原创 ML笔记（三）线性回归梯度下降法
1 梯度下降法 1.1原理 J(θ)J(\theta)J(θ)是模型的损失函数，我们设定初始参数θ\thetaθ,不断迭代，使得J(θ)J(\theta)J(θ)最小化： θj:=θj−α∂J(θ)∂θ\theta_j:=\theta_j-\alpha\frac{\partial{J(\theta)}}{\partial\theta}θj:=θj−α∂θ∂J(θ) 这里∂J(θ)∂θ\fra...
2020-03-20 17:59:55
170
原创 ML笔记（三）线性回归最小二乘实现
1 线性回归的一般形式 有数据集{(x1,y1),(x2,y2),...,(xn,yn)}\{(x_1,y_1),(x_2,y_2),...,(x_n,y_n)\}{(x1,y1),(x2,y2),...,(xn,yn)},其中,xi=(xi1;xi2;xi3;...;xid),yi∈Rx_i = (x_{i1};x_{i2};x_{i3};...;x_{id}),y_i\in Rxi...
2020-03-19 19:51:09
249
原创 ML笔记（2）模型评估与选择
2.1 经验误差与过拟合 错误率(error rate)：分类错误的样本数占样本总数的比例。 精度(accuracy)：精度 = 1 - 错误率（常常以百分比的形式书写） 误差(error)：实际预测输出与样本的真实输出之间的差异。 训练误差(training error)/经验误差(empirical error)：学习器在训练集上的误差。 泛化误差(generalizati...
2020-03-05 15:19:14
668
原创 ML笔记（1）绪论
一直有想写笔记的冲动，感觉平时学了没记笔记一下子就忘掉了。 机器学习这门课对我还是挺重要的，还有多元统计分析随机过程，这学期要是有时间尽量都试着写写笔记。 ...
2020-03-05 13:46:46
180
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人