![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
动手深度学习
文章平均质量分 71
lzmmmQAQ
这个作者很懒,什么都没留下…
展开
-
动手学深度学习v2课后习题 线性回归的从零开始实现基于pytorch
1.如果我们将权重初始化为零,会发生什么。算法仍然有效吗?2.假设你是 乔治·西蒙·欧姆 ,试图为电压和电流的关系建立一个模型。你能使用自动微分来学习模型的参数吗?3.您能基于 普朗克定律 使用光谱能量密度来确定物体的温度吗?4.如果你想计算二阶导数可能会遇到什么问题?你会如何解决这些问题?5.为什么在 squared_loss 函数中需要使用 reshape 函数?6.尝试使用不同的学习率,观察损失函数值下降的快慢。7.如果样本个数不能被批量大小整除,data_iter函数的行为会有什么变化?原创 2021-11-27 18:21:29 · 3204 阅读 · 2 评论 -
Panda 知识点总结 带代码(上)
文章目录一. Pandas Series结构1)创建Series对象1 .创建空Series对象2.ndarray创建Series对象3.dict创建Series对象4.标量创建Series对象2)访问Series数据3)Series常用属性4)Series常用方法1.head()&tail()查看数据2.isnull()&nonull()检测缺失值二.Pandas DataFrame 结构1)创建DataFrame对象1.创建空的DataFrame对象2.列表创建DataFame对象3.字原创 2021-12-24 22:01:58 · 1505 阅读 · 0 评论 -
AlexNet论文小笔记
是用了深度卷积网络(Deep Convolutional Neural Networks)https://www.cs.ryerson.ca/~aharley/vis/conv/使用Relu快六倍文章目录The ArchitectucreThe Architectucre原创 2021-12-19 09:45:53 · 678 阅读 · 0 评论 -
动手深度学习v2 汇聚层pooling 课后习题
文章目录1.你能将平均汇聚层作为卷积层的特殊情况实现吗?2.你能将最大汇聚层作为卷积层的特殊情况实现吗?3.假设汇聚层的输入大小为 c×h×w ,则汇聚窗口的形状为 ph×pw ,填充为 (ph,pw) ,步幅为 (sh,sw) 。这个汇聚层的计算成本是多少?4.为什么最大汇聚层和平均汇聚层的工作方式不同?5.我们是否需要最小汇聚层?可以用已知函数替换它吗?6.除了平均汇聚层和最大汇聚层,是否有其它函数可以考虑(提示:回想一下softmax)?为什么它不流行?1.你能将平均汇聚层作为卷积层的特殊情况实现吗原创 2021-12-17 20:10:30 · 1564 阅读 · 2 评论 -
动手深度学习v2 多输入多输出通道课后习题
文章目录1.多输入多输出通道2.假设输入为 ci×h×w ,卷积核大小为 co×ci×kh×kw ,填充为 (ph,pw) ,步幅为 (sh,sw) 。3.如果我们将输入通道 ci 和输出通道 co 的数量加倍,计算数量会增加多少?如果我们把填充数量翻一番会怎么样?4.如果卷积核的高度和宽度是 kh=kw=1 ,前向传播的计算复杂度是多少?5.本节最后一个示例中的变量Y1和Y2是否完全相同?为什么?6.当卷积窗口不是 1×1 时,如何使用矩阵乘法实现卷积?1.多输入多输出通道假设我们有两个卷积核,大小分原创 2021-12-15 19:25:58 · 4599 阅读 · 3 评论 -
动手深度学习v2 从全连接到卷积课后习题
文章目录1.假设卷积层 (6.1.3)覆盖的局部区域 Δ=0 。在这种情况下,证明卷积内核为每组通道独立地实现一个全连接层。2.为什么平移不变性可能也不是好主意呢?3.当从图像边界像素获取隐藏表示时,我们需要思考哪些问题?4.描述一个类似的音频卷积层的架构。5.卷积层也适合于文本数据吗?为什么?6.证明在 (6.1.6)中, f∗g=g∗f 。前言:记录自己学习的过程1.假设卷积层 (6.1.3)覆盖的局部区域 Δ=0 。在这种情况下,证明卷积内核为每组通道独立地实现一个全连接层。这个没有很get到,原创 2021-12-13 22:34:34 · 2262 阅读 · 0 评论 -
动手深度学习v2 kaggle房价基础知识理解
文章目录为什么要优化?优化方法为什么要使lr动态化Adam前言在沐神的动手深度学习中v2的房价预测中,第一次遇到了adam优化,对于小白的我,肯定没听过adam什么的,所以就上网查了一下。补了下知识。为什么要优化?在神经网络中,我们通常都用梯度下降法来更新参数,但是这会有个弊端——计算量会很大。假如你有一张1080x1920的图片,在加上RGB,就等于6220800,所以人们就想了两个办法1.从神经网络结构出发,增加池化层,dropout等2.从梯度下降本身出发下面重点在第二个优化方法原创 2021-12-11 17:41:05 · 656 阅读 · 0 评论 -
动手深度学习v2 层和块课后习题 基于Pytorch
文章目录一.层和块1.如果将MySequential中存储块的方式更改为Python列表,会出现什么样的问题?2.实现一个块,它以两个块为参数,例如net1和net2,并返回前向传播中两个网络的串联输出。这也被称为平行块。3.假设你想要连接同一网络的多个实例。实现一个函数,该函数生成同一个块的多个实例,并在此基础上构建更大的网络一.层和块1.如果将MySequential中存储块的方式更改为Python列表,会出现什么样的问题?这个问题想了很久,也查了。还是没想到合适的。开始想的是会不会产生地址冲突,原创 2021-12-06 15:34:23 · 1630 阅读 · 2 评论 -
动手深度学习v2 权重衰减公式理解 拉格朗日和正则化的理解之一
文章目录前言一.什么是正则化(regularization)1. 为什么要用l1和l2 范数二.神经网络为什么会产生过拟合(原因之一)1.W和b参数值不唯一?三.拉格朗日的'介入'l1 范数和l2范数的特点前言这次看见沐神讲的权重衰退,权重衰退就是为了处理过拟合的现象,但是一下抛出来这个公式就是不是很理解,还和拉格朗日有关,作为高数早忘的我就查了一下,在b站这个大神讲的还不错,我就整理了一下,从三个角度去理解,我暂时就整理了第一个。L1和L2正则化”直观理解(之一),从拉格朗日乘数法角度进行理解一原创 2021-12-03 17:05:49 · 734 阅读 · 1 评论 -
动手深度学习v2 多层感知机和从零开始实现部分习题
1.计算pReLU激活函数的导数。2.证明一个仅使用ReLU(或pReLU)的多层感知机构造了一个连续的分段线性函数。3.证明 tanh(????)+1=2sigmoid(2????) 。4.假设我们有一个非线性单元,将它一次应用于一个小批量的数据。你认为这会导致什么样的问题?1.计算pReLU激活函数的导数。pReLU(????)=max(0,????)+????min(0,????).x大于零是为1,小于零时为????2.证明一个仅使用ReLU(或pReLU)的多层感知机构造了一个连续的分原创 2021-11-30 18:22:40 · 4066 阅读 · 4 评论 -
动手深度学习v2 softmax回归的从零开始实现作业 基于pytorch
1.在本节中,我们直接实现了基于数学定义softmax运算的softmax函数。这可能会导致什么问题?提示:尝试计算 exp(50) 的大小。2.本节中的函数cross_entropy是根据交叉熵损失函数的定义实现的。这个实现可能有什么问题?提示:考虑对数的定义域。3.你可以想到什么解决方案来解决上述两个问题?4.返回概率最大的标签总是一个好主意吗?例如,医疗诊断场景下你会这样做吗?5假设我们希望使用softmax回归来基于某些特征预测下一个单词。词汇量大可能会带来哪些问题?1.在本节中,我们直接原创 2021-11-28 17:51:19 · 2493 阅读 · 0 评论 -
动手学深度学习v2课后习题 线性回归 基于pytorch
不是很会,后面应该还会改改原创 2021-11-26 20:54:01 · 1033 阅读 · 0 评论 -
动手学深度学习v2课后习题 linear-algebra 基于pytorch
记录自学过程1.证明一个矩阵 ???? 的转置的转置是 ???? : (????⊤)⊤=???? 。2.给出两个矩阵 ???? 和 ???? ,显示转置的和等于和的转置: ????⊤+????⊤=(????+????)⊤ 。3.给定任意方矩阵 ???? , ????+????⊤ 总是对称的吗?为什么?4.我们在本节中定义了形状(2,3,4)的张量X。len(X)的输出结果是什么?5.对于任意形状的张量X,len(X)是否总是对应于X特定轴的长度?这个轴是什么?6.运行A/A.sum(axis=1原创 2021-11-25 23:07:26 · 1205 阅读 · 0 评论