笔记
灯塔上的雾~.~
这个作者很懒,什么都没留下…
展开
-
机器学习的误差与梯度
### 误差有了模型之后,损失函数用来量化预测值和真实值之间的差距,进一步反映模型与数据的拟合程度。常见的损失函数有评分损失函数,平方损失函数,log对数损失函数,交叉熵损失函数,极大似然估计等。梯度下降最简单的用法是计算损失函数(数据集中所有样本的损失均值)关于模型参数的导数。sgd的大致步骤:(1)初始化模型参数的值,如随机初始化;(2)从数据集中随机抽取小批量样本且在负梯度的方向上更新参数,并不断迭代这一步骤。...原创 2021-08-20 21:36:15 · 148 阅读 · 0 评论 -
机器学习回归
线性回归线性模型中我们假设自变量x与因变量y存在线性关系,预测值是各个观测值加权和再加上一定的噪声,其中我们假设噪声满足高斯分布。y^=w1x1+...+wdxd+b我们要找的一组参数使得预测值与真实值之间的误差最小,用损失函数来衡量模型与数据的拟合程度。衡量error的方式有很多其中最常见的有平方损失误差,绝对损失误差,交叉熵等。有了模型与损失函数,又因为这是一个凸函数就可以使用梯度下降来再到最优解,或直接利用线性代数知识找到闭式解。在高斯分布的假设下,极大似然估计与均方最小误原创 2021-08-18 21:54:40 · 67 阅读 · 0 评论 -
深度学习入门
深度学习是机器学习的一个子领域,机器学习则为人类实现人工智能的一个途径。神经网络是实现深度学习的主要方法,传统机器学习是关于数据,模型,优化,在深度学习中我们只关心一种模型那就是神经网络。学习深度学习就是学习优化,有⼀个带有参数的模型,我们想要找到那些能拟合数据的最好模型。我们从线性模型开始,最简单的模型感知机也叫做一个神经元,然后多个神经元就有了线性回归的模型。现在我们把多个神经元的一层称之为layer,再把layer变成都层,就有了mlp多层感知机。这样就得到了深层网络,根据链接的不同如原创 2021-08-16 19:51:54 · 107 阅读 · 0 评论