菜菜白话学习pytorch深度学习
菜菜一个,算是从零开始学习。
主要是根据这个进行学习,加上自己的心得体会。发布的东西不保正确,自行辨别,哭.......来,大家一起来学习。
https://blog.csdn.net/lovemy134611/category_12417811.html
yyouyou
这个作者很懒,什么都没留下…
展开
-
为什么批次的数量会影响训练结果?
那这个就导致权重更平整化。同时也不是逐个样本更新梯度,而是对整个批次的样本同时进行计算,然后一次性更新梯度。那一个人一个的讨论,每次就是倾向他自己的最优方案,权重是想他自己靠近。开始我认为训练集中的的所有数据都会训练,那分不分批次无关紧要,一个批次多少训练集也无关。而如果一次100个人,那讨论的结果就是最大可能的倾向这100个人整体,而不是某一个人。而100人的意见可能就比较平稳,导致波动小,导致更平稳的训练过程和更快的收敛。一个人的意见有时候可能会比较偏激,导致方案变化大(权重变化大),波动比较大?原创 2024-04-14 16:50:49 · 164 阅读 · 1 评论 -
构建pytorch的GPU运行环境
我下载的cnDNN的9点几的,直接安装,所以没有后面要复制lib的过程,其他的版本可以参考以下。先安装显卡驱动,要安装最新的显卡驱动,才支撑最新的cuda。注意,pytorch分GPU和CPU的,所以要安装GPU的。去annconda配置的环境里面安装,也可以直接安装。查看cuda的支持版本。安装cuda,这里下载。原创 2024-04-03 09:46:01 · 339 阅读 · 2 评论 -
白话神经网络权重的生成
如果我期望的结果是100,你给我跑出来1000,那咋行啊,要改权重不是。我就找一个权重,把他稍稍改一下,比如增加0.01,再运行,结果不得了了,跑出来的结果是2000了,那我还敢增加权重,肯定不行了撒,必须反向操作,把权重减去0.01,哟不错,结果变成了500,离我们的结果100是不是近了嘛。然后我对每个权重都这样小心翼翼的去试一试,肯定有些会增加,有些会减少嘛,慢慢试,那结果不就是越来越接近100,当然慢慢试,要花时间,那如果结果差不多了,到100.00001,哎呦,可以了,就用这个权重吧。原创 2024-04-03 11:40:09 · 227 阅读 · 1 评论 -
为什么一次取较少的样本个数,损失函数会不光滑
如果白话一点,就是,本来是4个人应该一起对某一个文件进行讨论,并达成共识(损失函数最低)。现在你先让2个人对文件讨论,并修改了文件内容(权重),那这两个人肯定对修改的文件满意(损失函数变低)。但是另外2个人开始没参与,现在一来,就看到文件已经被改了,那当然可能会出现不满意的情况(损失函数变高),你们2个凭啥啊?那后面2个人就是不同意的前面的修改内容,这样是不是分歧反而大了(损失函数值增加了)。想了一下,就是这个意思,本来我有4个样本,现在你用2个样本对权重进行了更新,很明显这2个样本肯定是损失函数减少了。原创 2024-04-04 21:46:42 · 331 阅读 · 1 评论