深度学习简介

一、引入深度学习

假设A选取数字是有规律的,与他选取范围的上限有关

构建模型预测A心里想的数字

1.抽象过程

模型输入:A给出的上限数值

模型输出:A心里想的数值

首先B随便猜一个数                ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​     ----模型随机初始化

                模型函数 :Y = k * x   (此样本x = 100)

                此例子中B选择的初始k值为0.6

A计算B的猜测与真正答案的差距        ​​​​​​​        ​​​​​​​        ----计算loss

        损失函数 = sign(y_true – y_pred)

        A告诉B偏大或偏小                            ​​​​​​​        ----得到loss值

B调整了自己的“模型参数”        ​​​​​​​        ​​​​​​​        ​​​​​​​        ----反向传播

参数调整幅度依照B自定的策略        ​​​​​​​        ​​​​​​​        ----优化器&学习率

重复以上过程 最终B的猜测与A的答案一致        ​​​----loss = 0

2.优化方式

为快速获得正确模型,AB可以优化的地方

(1)随机初始化

假如B一开始选择的k值为88,则直接loss=0

NLP中的预训练模型实际上就是对随机初始化的技术优化

(2)优化损失函数

假如损失函数为loss = y_true – y_pred,即当B猜测60的时候,A告知低了28

(3)B调整参数的策略

B采取二分法调整,50 -> 75 -> 88

(4)调整模型结构

不同模型能够拟合不同的数据集

二、人工神经网络

人工神经网络(Artificial Neural Networks,简称ANNs),也简称为神经网络(NN)。它是一种模仿动物神经网络行为特征,进行分布式并行信息处理的算法数学模型。

1.相关概念

(1)隐含层/中间层

神经网络模型输入层和输出层之间的部分,隐含层可以有不同的结构: RNN、CNN、DNN、LSTM、Transformer 等等,它们本质上的区别只是不同的运算公式

(2)随机初始化

隐含层中会含有很多的权重矩阵,这些矩阵需要有初始值,才能进行运算;初始值的选取会影响最终的结果;一般情况下,模型会采取随机初始化,但参数会在一定范围内;在使用预训练模型一类的策略时,随机初始值被训练好的参数代替

(3)损失函数

损失函数(loss function或cost function)用来计算模型的预测值与真实值之间的误差。模型训练的目标一般是依靠训练数据来调整模型参数,使得损失函数到达最小值。损失函数有很多,选择合理的损失函数是模型训练的必要条件。

L\left ( \displaystyle \check{y},y \right )= max(0,1-\check{y}y)

L\left ( \displaystyle \check{y},y \right )= -y\log \left ( \check{y} \right )-\left ( 1-y \right )\log \left ( 1-\check{y} \right )
L\left ( \displaystyle \check{y},y \right )= \exp \left ( -\breve{y} y\right )

(4)导数与梯度

导数表示函数曲线上的切线斜率。 除了切线的斜率,导数还表示函数在该点的变化率。

(5)梯度下降

梯度表示函数向哪个方向增长最快,那么他的反方向,就是下降最快的方向。梯度下降的目的是找到函数的极小值,因为我们最终的目标是损失函数值最小

(6)优化器

假如一步走太大,就可能错过最小值,如果一步走太小,又可能困在某个局部低点无法离开

学习率(learning rate),动量(Momentum)都是优化器相关的概念

(7)Mini Batch/epoch

一次训练数据集的一小部分,而不是整个训练集,或单条数据;它使得内存较小、不能同时训练整个数据集的电脑也可以训练模型。

它是一个可调节的参数,会对最终结果造成影响;不能太大,因为太大了会速度很慢。 也不能太小,太小了以后可能算法永远不会收敛。

我们将遍历一次所有样本的行为叫做一个 epoch

训练迭代进行:模型训练好后把参数保存即可用于对新样本的预测

要点:

模型结构选择

初始化方式选择

损失函数选择

优化器选择

样本质量数量

三、总结

机器学习的本质,是从已知的数据中寻找规律,用来预测未知的样本

深度学习是机器学习的一种方法

深度学习的基本思想:

选公式->参数随机初始化->标注数据算误差->根据误差调整参数

简而言之,“先猜后调

  • 31
    点赞
  • 12
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

@LiX

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值