NNDL作业2:第三章课后题

习题3-2
在线性空间中,证明一个点𝒙到平面𝑓(𝒙; 𝒘) = 𝒘T𝒙 + 𝑏 = 0的距离为|𝑓(𝒙; 𝒘)|/‖𝒘‖。

解:
在这里插入图片描述
习题3-5
在Logistic回归中,是否可以用 ̂𝑦 = 𝜎(𝒘T𝒙)去逼近正确的标签𝑦,并用平方损失(𝑦 − ̂𝑦)2最小化来优化参数𝒘?

解:
第一种情况,使用平方损失函数作为激活函数时:
在这里插入图片描述

在这里插入图片描述
由于Sigmoid函数的横纵坐标趋于较大或较小时,函数值趋于平缓,因此大多数情况下几乎为0,w很难去优化。

第二种情况,当以交叉熵损失作为损失函数时:
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在此种情况下,对损失函数求导后,误差越大,权重更新越快。
习题3-6
在 Softmax 回归的风险函数(公式 (3.39))中,如果加上正则化项会有什么影响?

解:
公式3.39:在这里插入图片描述
加入正则化:在这里插入图片描述
对w求导后:在这里插入图片描述
所以:在这里插入图片描述
Softmax回归中使用的𝐶个权重向量是冗余的,即对所有的权重向量都减去一个同样的向量 𝒗,不改变其输出结果。因此,Softmax回归往往需要使用正则化来约束其参数。
船长:准备好了吗,孩子们?

孩子:是的,船长。

船长:听不见。

孩子:是的!船长!

船长:哦哦哦哦哦~~谁住在水下的菠萝屋里?

孩子:海绵宝宝!

船长:黄颜色的他吸收又吐气。

孩子:海绵宝宝!

船长:如果你想要航海废话。

孩子:海绵宝宝!

船长:就掉在甲板上鱼晃。

孩子:海绵宝宝!

船长:预备!

合:海绵宝宝,海绵宝宝,海绵宝宝,海绵宝宝

船长:哈哈哈。

  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值