机器学习阶段总结
文章平均质量分 65
李宏毅老师和吴恩达老师课程后的总结
一只特立独行的猫
转行web3中。。。
展开
-
神经网络训练失败原因总结
1.optimization problem现象:1.模型loss基本不变(梯度消失)2.模型的loss最后收敛很高(陷入局部最优)梯度消失原因:1.陷入鞍点(saddle point)2.陷入局部极值点判断梯度消失是由哪种原因引起的:假设对于模型的参数θ,设θ‘=θ+Δθ,则可以得到下列式子...原创 2022-05-10 18:13:13 · 2275 阅读 · 0 评论 -
一个线性函数的regression详细数学推导
假设前提:所有数据同分布(符合同一函数)待拟合函数:y∗=kx+b y^*=kx+b y∗=kx+b误差函数(L2范数):L(y,y∗)=(y∗−y)2=(kx+b−y)2 L(y,y^*)=(y^*-y)^2=(kx+b-y)^2L(y,y∗)=(y∗−y)2=(kx+b−y)2设 a=b−ya=b-ya=b−y,则函数为:L(w)=k2x2+2akx+a2L(w) = k^2x^2+2akx+a^2L(w)=k2x2+2akx+a2L(w)函数最低点为4x2a2−4a2x24x2=0 \fr原创 2022-05-02 15:21:55 · 412 阅读 · 0 评论 -
Pandas学习速成笔记
文章目录下载pandas使用下载pandas这里不知道为什么用conda安装不行,只能用pip安装。pip install pandas使用panda的基本数据类型为DataFrame,是基于numpy的一种扩展结构。因为我是在处理csv文件的时候学习的pandas,所以就一处理csv格式文件为例。1.读入csv文件当csv文件没有列名时,可以通过name传参的形式定义列名 #列名 header_names = ['duration', 'protocol_type', 'servic原创 2022-01-20 18:32:57 · 919 阅读 · 0 评论 -
三层CNN实现手写数字识别(新手项目)
最近刚刚用三层全连接层实现了一下手写数字识别(可以看我的另一个博客),后来发现全连接对图像的像素是独立分析的,所以训练慢,在6万的训练集下,要训练10次左右才会有较好的效果。查阅一些资料以后发现用CNN进行训练会考虑图像像素之间的关联性,训练效果会好一点,所以用CNN来练一下手。果然,用CNN只训练了1次就达到了很好的效果,超过三次的训练次数都会导致训练效果急剧下降。训练效果图模型代码:from torch import nnfrom torch.nn.modules.activation im原创 2021-05-16 11:05:27 · 671 阅读 · 0 评论 -
由宏观到细节谈谈BP神经网络搭建
序言自从最近十几年深度学习开始迅速发展以来,越来越普及的应用于我们的生活,在一次竞赛中接触了一些深度学习的东西以后,对神经网络有了一些兴趣。我一开始觉得神经网络很难,内心有畏惧感,总觉得入门很难,但是慢慢的接触下来,觉得其实也没有想象的那么难,网络上面流传的一些讲BP神经网络的帖子都会讲到一些很深奥但是却无关紧要的东西,本文旨在抓住BP神经网络搭建的主要矛盾,忽略一些搭建的次要矛盾,来实现从整体上把握BP神经网络的思想。另外笔者断断续续的学了机器学习几个月了,想想还是阶段性的总结一下,疏漏之处希望评论原创 2020-10-07 17:56:47 · 1197 阅读 · 0 评论