- 博客(15)
- 收藏
- 关注
RSS订阅原创 权重衰退的代码实现
一：载入包%matplotlib inlineimport torchfrom torch import nnfrom d2l import torch as d2l二：自定义一个数据集# 自定义一个数据集n_train,n_test,num_inputs,batch_size = 20,100,200,5true_w,true_b, = torch.ones((num_inputs,1))*0.01,0.05train_data = d2l.synthetic_data(tru
2022-03-27 17:27:36
2232
原创 权重衰退的原理(正则化技术之一)
权重衰退有一个超参数正则项权重，正是这个，控制了衰退的大小下面就来看看权重衰退是如何实现的：我们通过使用均方范数作为硬性限制，对于所有的权重参数和偏置，我们只对权重进行限制，令其L2long的值小于一个数，如图：而：我们的参数更新法则就来源于此：由于有的存在，每次在梯度下降之前，都会提前减去一次，所以每次权重的大小则额外减小了，且每下降一次，都会减一次，故多次下降之后，被减去的部分越来越多，故称作权重衰退总结：...
2022-03-27 14:25:31
1334
原创 pytorch学习之：感知机与多层感知机
如果像：y = X*w + b 这种关系性很强的线性关系不适用了，那么当我们不知道这种关系时，我们就要用计算机帮我们求得其隐含的关系我们可以通过在网络中加入一个或多个隐藏层来克服线性模型的限制， 使其能处理更普遍的函数关系类型。 要做到这一点，最简单的方法是将许多全连接层堆叠在一起。 每一层都输出到上面的层，直到生成最后的输出。 我们可以把前L−1层看作表示，把最后一层看作线性预测器。 这种架构通常称为“多层感知机”全连接：每个输入都会影响隐藏层中的每个神经元， 而隐藏层中的每个神经元又会影响输出层
2022-03-22 20:45:18
774
原创 多层感知机的通用近似原理
图片来源于：4.1. 多层感知机 — 动手学深度学习 2.0.0-beta0 documentation (d2l.ai)
2022-03-22 20:42:14
1342
原创 线性回归的简洁实现（调库）
通过使用深度学习框架来简洁地实现线性回归模型。通过调用torch.utils中的data，这里面有一些处理数据的模块
2022-03-19 11:58:21
3489
5
原创 预备知识（3）
自动求导：前提：x=torch.arange(4.0)计算y关于x求导的梯度：在计算前，要找一个地方来存求出的梯度，用：x.require_grad_(True) #等价于 x=torch.arange(4.0,require) , 梯度一开始默认为None计算：y = 2 * torch.dot(x, x)y得：tensor(28., grad_fn=<MulBackward0>)接下来，我们通过调用反向传播函数来自动计算y关于x每个分量的梯度，并
2022-03-12 19:07:14
841
原创 预备知识（2）
标量导数：标量对向量，或向量对标量求导：标量对向量求导，是行向量，是分子布局向量对标量求导，是列向量，是分母布局。标量对向量求导，向量取转置 eg：若<a,b>对a求导，则结果为a的转置向量对向量求导：大写I的意思是对角单位矩阵在矩阵里相乘的话，等价于1*拓展到矩阵：老师遮住的是M，L向量的链式法则：例子：特别感谢：李沐老师...
2022-03-09 09:55:30
244
原创 数据预处理
首先创建一个人工数据集，并存储在CSV（逗号分隔值）文件 ../data/house_tiny.csv中。 以其他格式存储的数据也可以通过类似的方式进行处理。 下面我们将数据集按行写入CSV文件中。import osos.makedirs(os.path.join('.', 'data'), exist_ok=True) #用两个点可能因为权限问题，创建失败data_file = os.path.join('.', 'data', 'house_tiny.csv')with open(dat
2022-03-07 21:47:57
2587
原创 预备知识（1）
数组访问：数组的行和列都是从0开始计数的【1：3，1：】 中 1：3是左闭右开 -->【1：3）多个张量链接：torch.cat（（x，y），dim=0）是纵向拼接 沿着行拼接torch.cat（（x，y），dim=1）是横向拼接 沿着列拼接访问元素：访问元素总数 张量的形状数字后面带一个点表示是浮点型广播机制：如果两个张量形状不一样，这种机制的工作方式如下：首先，通过适当复制元素来扩展一个或两个数组， 以便在转换之后，两个张量具有相同的形状。 其次..
2022-03-07 16:10:20
78
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人