2024 6.17~6.23 周报

一、上周工作

吴恩达的机器学习、实验-回顾之前密集连接部分

二、本周计划

继续机器学习,同时思考实验如何修改,开始整理代码

三、完成情况

3.1 多类特征、多元线性回归的梯度下降、特征缩放、逻辑回归

多类特征:

多元线性回归的梯度下降:

线性回归求w和b的另一种方法:normal equation(正规方程法),只适用于线性回归、不需要进行迭代。

缺点:

1.不能适用于logistic回归算法等

2.速度慢

特征缩放:

特征缩放可以使梯度下降运行得更快。

如何进行特征缩放?

1)让每一个特征除以特征的可能最大取值

2)做均值归一化(mean normalization)

3)Z分数归一化(Z-score normalization)

总结:当变量范围太大、太小时,或者本身值与其它的变量差值过大,就可以考虑使用特征缩放。

检查梯度下降是否收敛:

1)自行绘制loss的值与迭代次数的关系图,这个曲线应该一直下降,最后趋于平稳,若某一次迭代曲线突然增长说明代码有bug或者学习率偏大。

2)自动检测方法,设置一个很小的阈值,当某一次迭代之后曲线降低的值小于这个,就说明到达了收敛,也就意味着找到了参数接近损失函数的全局最小值。

阈值是很难确定的,所以一般倾向于第一种方法。

学习率的选择:

如果损失函数-迭代次数这个学习曲线出现了上下浮动或者持续增大的现象,则说明代码存在bug或者学习率过大。

常用的一种判断是bug还是学习率过大的方法是:使用一个非常小的学习率,如果成本函数依然不会在每次迭代中减小,说明代码存在bug。

注:这个非常小的学习率并不是最终的学习率的选择,而是代码的一种调试策略。

逻辑回归的代价函数:

对于平方误差成本函数,如果使用在线性回归上面,得到的曲线就是一个凸函数,然而当使用在逻辑回归上,得到的就不是一个凸函数,此时运行梯度下降,就可能会陷入很多局部最小值。

如果真实标签为1,那么图像如下,此时当预测值接近1,loss接近0,反之预测值接近0,loss接近无穷。

3.2 实验修改方向

从之前一直思考的分阶段调整损失函数,后面计划提出了一种新的联合损失函数。

重新去学习了几类常用损失函数,计划采用两种损失结合的方式。

从简单一点的方式入手。

3.3 开始整理实验代码

因为之前是在aba的基础上进行编写的

四、存在的主要问题

无太大问题

最初的分阶段调整损失函数在代码实现这块对于目前有点难,调整成联合损失函数

五、下一步计划

整理代码,尝试设计新的联合损失函数并进行实验

安装LaTex

继续机器学习

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值