lyz21的博客

Pytorch中的Hook使用Hook函数获取网络中间变量.Hook函数机制是不改变函数主体，实现额外功能，像一个挂件，挂钩。正是因为PyTorch计算图动态图的机制，所以才会有Hook函数。在动态图机制的运算，当运算结束后，一些中间变量就会被释放掉，例如，特征图，非leaf节点的梯度。但是有时候，我们需要这些中间变量，所以就出现了Hook函数。torch提供了四种hook方法，分别用于获取各个参数的梯度值。tensor.register_hook(hook)获取各个层前向传播的输入输出值。Mo

Jupyter notebook按tab键（制表符）无法提示代码问题解决使用pip安装Jupyter后无法使用tab键提示代码，安装nbextensions后也无法正常补全代码，查看网络解决办法，通常会要求Ipython版本对应，最终额外安装jedi库解决该问题。各库版本：python：3.8.5ipython：7.19.0jupyter-core：4.7.0jedi：0.17.2解决思路来源：https://www.jianshu.com/p/7dc3f986c670...

Pytorch Gpu环境配置（亲测可用）（win10+CUDA9.0+pytorch1.1+ torchvision0.3+cudatoolkit9.0）1.检查是否有合适的GPU, 若有安装Cuda与CuDNN(1)检查电脑是否有合适的GPU在桌面上右击如果能找到NVIDA控制面板，则说明该电脑有GPU。控制面板如下，并通过查看系统信息获取支持的Cuda版本(2)下载Cuda官网：https://developer.nvidia.com/cuda-10.1-download-archive

中国计算机学会推荐国际学术刊物(人工智能)A类序号刊物名称刊物全称出版社地址1AIArtificial IntelligenceElsevierhttp://dblp.uni-trier.de/db/journals/ai/2TPAMIIEEE Trans on Pattern Analysis and Machine IntelligenceIEEEhttp://dblp.uni-trier.de/db/journals/pami/3IJCVI

其他题目汇总：假设我们将源模型的输出层改成输出大小为目标数据集类别个数的输出层，则对于这个新的输出层如何初始化随机初始化假设我们将源模型的输出层改成输出大小为目标数据集类别个数的输出层，在训练过程中下列说法正确的是对输出层使用较大的学习率，对其他层使用较小的学习率。图像增广的方法有翻转图片、加入噪点、调整亮度下列算法中哪个没有使用到Exponential Moving Average...

词嵌入进阶“Word2Vec的实现”一节中，我们在小规模数据集上训练了一个 Word2Vec 词嵌入模型，并通过词向量的余弦相似度搜索近义词。虽然 Word2Vec 已经能够成功地将离散的单词转换为连续的词向量，并能一定程度上地保存词与词之间的近似关系，但 Word2Vec 模型仍不是完美的，它还可以被进一步地改进：子词嵌入（subword embedding）：FastText 以固定大小...

词嵌入基础我们在“循环神经网络的从零开始实现”一节中使用 one-hot 向量表示单词，虽然它们构造起来很容易，但通常并不是一个好选择。一个主要的原因是，one-hot 词向量无法准确表达不同词之间的相似度，如我们常常使用的余弦相似度。Word2Vec 词嵌入工具的提出正是为了解决上面这个问题，它将每个词表示成一个定长的向量，并通过在语料库上的预训练使得这些向量能较好地表达不同词之间的相似和类...

11.6 Momentum在 Section 11.4 中，我们提到，目标函数有关自变量的梯度代表了目标函数在自变量当前位置下降最快的方向。因此，梯度下降也叫作最陡下降（steepest descent）。在每次迭代中，梯度下降根据自变量当前位置，沿着当前位置的梯度更新自变量。然而，如果自变量的迭代方向仅仅取决于自变量当前位置，这可能会带来一些问题。对于noisy gradient,我们需要谨慎...

深度学习入门-6（批量归一化与残差网络，凸优化，梯度下降）一、批量归一化1、批量归一化（BatchNormalization）（1）对全连接层做批量归一化（2）对卷积层做批量归⼀化（3）预测时的批量归⼀化2、残差网络（ResNet）（1）残差块（Residual Block）（2）ResNet模型3、稠密连接网络（DenseNet）（1）主要构建模块：（2）过渡层（3）DenseNet模型二、凸优...

深度学习入门-5（卷积神经网络基础，LeNet，卷积神经网络进阶）一、卷积神经网络基础1、基础概念（1）二维互相关（2）二维卷积层（3）互相关运算与卷积运算（4）特征图与感受野（5）填充与步幅ⅰ) 填充ⅱ) 步幅（6）多输入通道和多输出通道ⅰ) 多输入通道ⅱ) 多输出通道ⅲ) 1x1卷积层（7）卷积层与全连接层的对比二、LeNet三、卷积神经网络进阶一、卷积神经网络基础1、基础概念（1）二维...

深度学习入门-3（机器翻译，注意力机制和Seq2seq模型，Transformer）一、机器翻译1、机器翻译概念2、数据的处理二、注意力机制和Seq2seq模型1、注意力机制的引入2、注意力机制框架- Softmax屏蔽3、点积注意力4、多层感知机注意力5、引入注意力机制的Seq2seq模型- 解码器三、Transformer1、Transformer的引入与概念2、Transformer模型的组...

深度学习入门-3（过拟合、欠拟合及其解决方案，梯度消失、梯度爆炸）一、过拟合、欠拟合及其解决方案1、引入（1）训练误差与泛化误差（2）过拟合与欠拟合2、模型复杂度3、训练数据集大小4、过拟合解决方法1——权重衰减（等价与L2 范数正则化）4、过拟合解决方法2——丢弃法二、梯度消失、梯度爆炸1、梯度消失与梯度爆炸2、随机初始化模型参数（1）为什么要随机初始化模型参数（2）随机初始化模型参数的方法三、...

深度学习入门目录深度学习入门-1（线性回归，Softmax与分类模型，多层感知机）深度学习入门-2（文本预处理，语言模型与数据集，循环神经网络）

深度学习入门-2（文本预处理，语言模型与数据集，循环神经网络）一、文本预处理1、基本概念2、读入文本3、分词4、建立字典5、将词转为索引二、语言模型与数据集1、语言模型基本概念2、马尔可夫链与n元语法2、数据集——对时序数据采样三、循环神经网络1、循环神经网络的基本概念2、循环神经网络的构造3、裁剪梯度4、困惑度一、文本预处理这一节只是为下面处理自然语言做准备，没有任何深度学习方面的内容，利用...

深度学习入门-1（线性回归，Softmax与分类模型，多层感知机）一、线性回归1、基本形式线性回归是单层线性网络，定义与模型图如下2、损失函数在模型训练中，我们需要衡量网络输出与实际输出之间的误差。通常我们会选取一个非负数作为误差，且数值越小表示误差越小。一个常用的选择是平方函数。 它在评估索引为 i 的样本误差的表达式为3、优化函数优化函数有多种，此处使用最常用的随机梯度下降...