学习笔记系列
文章平均质量分 65
UvwxyZ666
这个作者很懒,什么都没留下…
展开
-
笔记小结:神经网络中的层与块
用模型参数声明层。这里,我们声明两个全连接的层# 调用MLP的父类Module的构造函数来执行必要的初始化。# 这样,在类实例化时也可以指定其他函数参数,例如模型参数params(稍后将介绍)self.hidden = nn.Linear(20, 256) # 隐藏层self.out = nn.Linear(256, 10) # 输出层# 定义模型的前向传播,即如何根据输入X返回所需的模型输出# 注意,这里我们使用ReLU的函数版本,其在nn.functional模块中定义。原创 2024-07-14 08:11:46 · 389 阅读 · 0 评论 -
笔记小结:常见的激活函数一览
最受欢迎的激活函数是修正线性单元ReLU), 因为它实现简单,同时在各种预测任务中表现良好。给定元素𝑥,ReLU函数被定义为该元素与0的最大值:通俗地说,ReLU函数通过将相应的活性值设为0,仅保留正元素并丢弃所有负元素。为了直观感受一下,我们可以画出函数的曲线图。正如从图中所看到,激活函数是分段线性的。下面我们绘制ReLU函数的导数。原创 2024-07-13 08:23:06 · 243 阅读 · 0 评论 -
笔记:Softmax回归的Python实现
实现softmax由三个步骤组成:对每个项求幂(使用exp对每一行求和(小批量中每个样本是一行),得到每个样本的规范化常数;将每一行除以其规范化常数,确保结果的和为1。return X_exp / partition # 这里应用了广播机制对这段代码的理解可以参考笔记小结:Softmax回归预备知识。# torch.matmul即为矩阵乘法# X.reshape(-1,W.shape[0])中-1表示自己算一下行数,# W.shape[0]则表示要把X的列数变成W的行数,以便于矩阵乘法。原创 2024-07-12 08:06:11 · 735 阅读 · 0 评论 -
笔记小结:Softmax回归之模块导入与数据加载
Fashion-MNIST是一个常用的图像数据集,用于替代传统MNIST手写数字数据集,它包含了10个类别的70,000个灰度图像,每个类别有7,000个图像。这些类别包括T恤、裤子、鞋子等时尚物品。这个数据集通常用于训练和测试图像识别模型。函数batch_size:定义了每次迭代中要加载的样本数量。resize:可选参数,如果提供,将图片大小调整到指定的像素尺寸。定义了一个转换列表trans,其中包含,它将图片转换为PyTorch张量。如果提供了resize参数,则将。原创 2024-07-11 08:23:59 · 912 阅读 · 0 评论 -
笔记小结:Softmax回归预备知识
实现softmax由三个步骤组成:对每个项求幂(使用exp对每一行求和(小批量中每个样本是一行),得到每个样本的规范化常数;将每一行除以其规范化常数,确保结果的和为1。正如上述代码,对于任何随机输入,我们将每个元素变成一个非负数。此外,依据概率原理,每行总和为1。原创 2024-07-10 08:16:25 · 370 阅读 · 0 评论 -
笔记:线性回归的Python实现
"""线性回归模型""""""均方损失"""def sgd(params, lr, batch_size): #优化算法与训练这两部分是核心,也是最难懂的地方"""小批量随机梯度下降"""# """线性回归模型"""初始化模型参数# w,b#输出:均方误差 mean square error MSE随机梯度下降法 stochastic gradient descent SGD。原创 2024-07-09 10:46:16 · 897 阅读 · 0 评论 -
笔记小结:Python自动微分
重要的是,我们不会在每次对一个参数求导时都分配新的内存。因为我们经常会成千上万次地更新相同的参数,每次都分配新的内存可能很快就会将内存耗尽。注意,一个标量函数关于向量𝑥的梯度是向量,并且与𝑥具有相同的形状。y.backward()是通过调用反向传播函数来自动计算y关于x的每个分量的梯度,这些梯度(也就是导数值)是存在x.grad中的。关于x的导数为4x,故而y关于x的梯度为tensor([ 0., 4., 8., 12.])是一个长度为4的向量,计算。的点积,得到了我们赋值给。原创 2024-07-08 11:01:55 · 314 阅读 · 0 评论 -
笔记小结:Python线性代数实现数学基础
【代码】笔记小结:Python线性代数实现数学基础。原创 2024-07-07 16:32:42 · 306 阅读 · 0 评论