2021-06-14


视频: 深度学习基本概念简介

线性模型限制及改进

在这里插入图片描述

线性模型(Linear Model)很多情况下具有局限性,这种Model的限制称为Model Bias。
因此需要更复杂的,更有弹性的Model。
在这里插入图片描述
红色的曲线可以看作是一个常数加上一组蓝色函数。
在这里插入图片描述
所有分段线性曲线都可以类似表示出来。
在这里插入图片描述
在这里插入图片描述

分段线性曲线表达

分段曲线可以用sigmoid曲线进行逼近
#pic_center
图中分段曲线成为Hard Sigmoid。
通过调整c、b、w可以制造各种不同形状的Sigmoid函数,进而逼近不同形状的分段曲线。
在这里插入图片描述
改变w会改变斜率,改变b会使Sigmoid function左右移动,改变c会改变高度。
在这里插入图片描述
因此,新模型可以表示为:
在这里插入图片描述
j表示的是feature,i表示的是sigmoid function的个数
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

机器学习步骤

定义未知参数

在这里插入图片描述
在这里插入图片描述

定义损失函数

首先给定一组参数(w,b,c的转置,b),带入feature,查看估计出的y,在计算与真实的label之间的差距e。
在这里插入图片描述

找最优解

梯度下降
在这里插入图片描述
在这里插入图片描述
有大N笔资料,随机分成N个
更新一次参数叫做一次update
把所有batch都看过一遍叫做一个Epoch。
在这里插入图片描述
更好区分update和epoch的例子
在这里插入图片描述

模型的变形

改变激活函数

ReLU(Rectified Linear Unit)
在这里插入图片描述
两个ReLU叠加起来就是Hard Sigmoid。
在这里插入图片描述

改变层数

在这里插入图片描述
在这里插入图片描述

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值