机器学习笔记
不拿奖学金不改名
这个作者很懒,什么都没留下…
展开
-
深度学习41(梯度不平稳性与Glorot条件)
梯度消失与梯度爆炸的成因:网络结构里面的很多参数可能是大于1或者小于1的,当是小于1的时候,层数多了,多乘了几次之后就容易造成梯度消失,梯度爆炸同理 返回值为迭代器的,可以用list把他打印出来 这里主要讲了看每一层的参数是什么怎么查看的 如何解决梯度消失梯度爆炸问题? 对于tanh这个函数,可以把数据都变成均值为0,方差为1的数据,这样数据在反向传播迭代的时候,梯度就会在1附近,就不会出现梯度爆炸或者消失的这种情况 w的初始值不可以都设置为0,所以要借助工具生成均...原创 2021-11-29 22:08:41 · 523 阅读 · 0 评论 -
深度学习笔记39(模型拟合度和激活函数)
测试集悖论:我们实际上的测试集是用来测试模型的好坏的,但是我们代入测试集查看模型的好坏之后,我们又会根据查看的结果对模型进行一些调整,这样的话测试集又充当了训练集,就不严谨了,但是不调整模型这样的话就没什么意义了,所以我么你引入了一个叫做验证集的概念,验证集就是做上面说的那些功能,这样一个完整的数据集就会被划分成训练集、测试集、验证集。我们根据训练集对网络模型进行调参,然后在验证集上跑一跑,看看训练的效果再对模型进行调整,最后代入测试集进行测试,代入测试集后,无论效果好坏都不能再进行调整了。 欠拟合...原创 2021-11-29 15:01:44 · 2171 阅读 · 0 评论 -
深度学习38(数据的封装加载)
课程38 开始的部分就是,每次打开jupyter的时候,在写程序的时候都需要导入一堆的包,可以对启动文件进行一些配置,让每次打开jupyter都自动把这些包都加载好,不用再自己输入 手动实现训练集和测试集的切分 切分函数里面的[2,2]表示的是切分成几份,每份里面有多少个数据 ...原创 2021-11-29 10:07:39 · 161 阅读 · 0 评论 -
【深度学习笔记(34、35)】
课程34 主要是建模可视化工具的安装与使用 tensorboard的基本使用都是基于SummaryWriter这个类来实现的 这段代码是查看数据保存在哪个文件夹下了 mul是展示记录的折线图(或者是其他的)的名称 不太懂这个东西是干嘛的,好像就是把网络中一些参数储存在本地,然后云端通过访问数据,然后把数据显示在web上面,做到实时查看自己的模型结构的功能,在一些大数据、深层次网络里应用的可能比较多吧,以后用到再作记录。 课程35 线性回归建模实验 ...原创 2021-11-28 20:55:49 · 53 阅读 · 0 评论 -
深度学习(32、33)
从这节开始是九天老师开始讲解 课程31 数据集生成函数的创建与使用 features就是创建的特征矩阵,就是以这个为大小的矩阵,最后那个就是添加噪声,就是标签不是严格的下面的函数对应关系了,会有微小的偏差 这里面的subplot的121表示,第一个12表示子图在一行有两个,最后面的1表示下面要绘制的是第几个子图,scatter用来绘制散点图,大规模的话比matplotlib绘图要快,第一个[:,0]就是x1,这两个图就是x1和x2和y的对应关系的图 创建数据集的函数...原创 2021-11-28 10:59:49 · 386 阅读 · 0 评论 -
深度学习笔记(30、31)
课程30 颜色通道写在哪里都没有关系,一般是4个数,第一个代表有多少个样本,后面就是高度、宽度(像素),颜色通道,一般是三个颜色通道,rgb,有时候也是四个,外加一个透明度 查看类别: 将数据展示: 这里是特征张量和标签,要是只取特征那就是[0][0] 显示图像的时候是不支持tensor的所以要把tensor变成array 这里已经包含了特征和标签,所以就不需要进行合并,可以直接进行小批量的划分 整体流程: (5)定义所使用的优化算法 (7)输...原创 2021-11-26 21:30:09 · 331 阅读 · 0 评论 -
深度学习笔记(28、29)
课程28 之前进行了前向反向的传播,但是还没有实现坐标点的移动,这节就是讲这个 这里的步长设置的大是因为演示,为了能看出来变化 这个得到的不是tensor本身,还包括其他的一些说明 这样可以取 出来,只剩下tensor 这样就定义了梯度dw和w 运行之后w就进行了迭代 每进行一次迭代之后,权重就会发生变化,那么正向传播的w数值就会发生变化,所以需要重新进行一次正向传播,如此迭代来更新w的值 动量Momentum 上面的式子就是第二步的真实方向,下...原创 2021-11-26 17:28:26 · 160 阅读 · 0 评论 -
深度学习笔记(26、27)
课程26 这里有两个w 那么在反向传播的时候就需要分别对这两个求导,对第一个w求导的时候就相当于式子有两个变量,就相当于z=f(x,y),分别对x,y求导一样 就按照上面的公式就行求导,就是链式求导法则 这是从后面往前面求的,所以是反向传播,里面都是正向传播的已知值,就可以进行计算了 课程27 用torch进行简单的求导计算 这里是对x求导,里面的y不设置TRUE也行,但是对x求导一次之后,就不能再对y求导,需要再次求导一次 编写代码实现以下功能,各层之间的激活函数...原创 2021-11-26 11:21:46 · 264 阅读 · 0 评论 -
2021-10-20 机器学习笔记
第一次写博客 感觉挺新鲜 平时学习不太喜欢写笔记 但是发现很多弊端 听的时候记得很清楚 听完了就记不得了 所以想通过写博客的方式记录一下自己的学习笔记 同时如果有朋友可以一起学习讨论那肯定是再好不过了。 我的第一篇笔记就从记录自己的机器学习课程开始吧。 分类模型和回归模型有不同的评估方式 分类模型: 回归模型: 上面是预测值-真实值 下面是整体均值-真实值 与RMSE类似 就是里面换成了绝对值 上面是预测值-真实值 所以越小越好...原创 2021-10-26 10:21:04 · 108 阅读 · 0 评论