Dadong的小世界

import hashlibimport osimport tarfileimport zipfileimport requestsimport numpy as npimport pandas as pdimport torchfrom torch import nnimport commfuncsDATA_HUB = dict()DATA_URL = 'http://d2l-data.s3-accelerate.amazonaws.com/'# 如果缓存中有就直接读取缓存

参数初始化方案的影响：①对保持数值稳定性⾄关重要②选择哪个函数以及如何初始化参数可以决定优化算法收敛的速度有多快。糟糕选择可能会导致在训练时遇到梯度爆炸或梯度消失。4.8.1 梯度消失与梯度下降不稳定梯度的影响：①数值表示 ②优化算法的稳定性（1）梯度消失import torchimport matplotlib.pyplot as pltx = torch.arange(-8.0, 8.0, 0.1, requires_grad=True)y = torch.sigmoid(x)

小结• 前向传播在神经⽹络定义的计算图中按顺序计算和存储中间变量，它的顺序是从输⼊层到输出层。• 反向传播按相反的顺序（从输出层到输⼊层）计算和存储神经⽹络的中间变量和参数的梯度。• 在训练深度学习模型时，前向传播和反向传播是相互依赖的。• 训练⽐预测需要更多的内存。...

4.6.1 重新审视过拟合线性模型当⾯对更多的特征而样本不⾜时，线性模型往往会过拟合。相反，当给出更多样本而不是特征，通常线性模型不会过拟合。不幸的是，线性模型泛化的可靠性是有代价的。简单地说，线性模型没有考虑到特征之间的交互作⽤。对于每个特征，线性模型必须指定正的或负的权重，而忽略其他特征。深度神经网络2017年，⼀组研究⼈员通过在随机标记的图像上训练深度⽹络。这展⽰了神经⽹络的极⼤灵活性，因为⼈类很难将输⼊和随机标记的输出联系起来，但通过随机梯度下降优化的神经⽹络可以完美地标记训练集中的每⼀

权重衰减的原理与代码实现

import mathimport numpy as npimport torchfrom torch import nnimport commfuncs# step 1: 生成数据集(x,y)max_degree = 20 # 设置最大阶数n_train, n_test = 100, 100true_w = np.zeros(max_degree)true_w[0:4] = np.array([5, 1.2, -3.4, 5.6]) # 示例给定features = n...

3.3 线性回归的简洁实现常用的工具现代深度学习库会有所实现。现对3.2节内容通过深度学习框架来简洁实现。d2l存在的意义其实也就是把之前声明过的函数都存起来了，通过第一次@save标记自动记录了下来，以后就能直接调用了。d2l完全可取代。...

3.5 章节

第三章 线性神经网络介绍神经⽹络的整个训练过程，包括：定义简单的神经⽹络架构、数据处理、指定损失函数和如何训练模型。3.1 线性回归回归regression是能为一个或多个自变量与因变量之间关系建模的一类方法。回归经常用来表示输入和输出之间的关系，与预测任务有关3.1.1 线性回归linear regression的基本元素线性回归在回归的各种标准⼯具中最简单而且最流⾏。线性回归基于的简单假设：⾸先，假设⾃变量x和因变量y之间的关系是线性的，即y可以表⽰为x中元素的加权和，这⾥通常允许包含观测值

2.5 自动微分深度学习框架通过⾃动计算导数，即⾃动微分（automatic differentiation）来加快求导。实际中，根据我们设计的模型，系统会构建⼀个计算图（computational graph），来跟踪计算是哪些数据通过哪些操作组合起来产⽣输出。⾃动微分使系统能够随后反向传播梯度。这⾥，反向传播（backpropagate）意味着跟踪整个计算图，填充关于每个参数的偏导数。一位网友的分享，解释计算图与BP一个示例import torchx = torch.arange(4.0)

chapter 2: 2.1-2.4 进度打卡