- 博客(5)
- 收藏
- 关注
RSS订阅原创 机器学习的误差与梯度
### 误差 有了模型之后，损失函数用来量化预测值和真实值之间的差距，进一步反映模型与数据的拟合程度。 常见的损失函数有评分损失函数，平方损失函数，log对数损失函数，交叉熵损失函数，极大似然估计等。 梯度下降最简单的用法是计算损失函数（数据集中所有样本的损失均值）关于模型参数的导数。 sgd的大致步骤：（1）初始化模型参数的值，如随机初始化；（2）从数据集中随机抽取小批量样本且在负梯度的方向上更新参数，并不断迭代这一步骤。 ...
2021-08-20 21:36:15
154
原创 机器学习回归
线性回归 线性模型中我们假设自变量x与因变量y存在线性关系，预测值是各个观测值加权和再加上一定的噪声，其中我们假设噪声满足高斯分布。 y^=w1x1+...+wdxd+b 我们要找的一组参数使得预测值与真实值之间的误差最小，用损失函数来衡量模型与数据的拟合程度。 衡量error的方式有很多其中最常见的有平方损失误差，绝对损失误差，交叉熵等。 有了模型与损失函数，又因为这是一个凸函数就可以使用梯度下降来再到最优解，或直接利用线性代数知识找到闭式解。 在高斯分布的假设下，极大似然估计与均方最小误
2021-08-18 21:54:40
76
原创 深度学习入门
深度学习是机器学习的一个子领域，机器学习则为人类实现人工智能的一个途径。 神经网络是实现深度学习的主要方法，传统机器学习是关于数据，模型，优化，在深度学习中我们只关心一种模型那就是神经网络。学习深度学习就是学习优化，有⼀个带有参数的模型，我们想要找到那些能拟合数据的最好模型。 我们从线性模型开始，最简单的模型感知机也叫做一个神经元，然后多个神经元就有了线性回归的模型。 现在我们把多个神经元的一层称之为layer，再把layer变成都层，就有了mlp多层感知机。 这样就得到了深层网络，根据链接的不同如
2021-08-16 19:51:54
114
原创 2021-04-24
Task5 模型融合 常见的模型融合方法 Voting投票器 Voting可以说是一种最为简单的模型融合方式。假如对于一个二分类模型，有3个基础模型，那么就采取投票的方式，投票多者为最终的分类。 Bagging Bagging的思想是利用抽样生成不同的训练集，进而训练不同的模型，将这些模型的输出结果综合（投票或平均的方式）得到最终的结果。Bagging本质上是利用了模型的多样性，改善算法整体的效果。Bagging的重点在于不同训练集的生成，这里使用了一种名为Bootstrap的方法，即
2021-04-24 23:13:49
144
原创 2021-04-22
Task4 建模调参 学习目标 把自己已经学习到的机器学习模型与现实问题结合起来。 学会调用现有的机器学习库的调用，和简单的调参。 了解交叉验证。 学习内容 线性回归模型： 线性回归对于特征的要求； 处理长尾分布； 理解线性回归模型； 模型性能验证： 评价函数与目标函数； 交叉验证方法； 留一验证方法； 针对时间序列问题的验证； 绘制学习率曲线；
2021-04-22 22:05:25
239
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人