mmLxfz的博客

Classx-优化算法进阶Momentum(动量)目标函数f(x)f(x)f(x)关于自变量xxx的梯度∂f(x)∂x∣x=x0\frac{\partial f(x)}{\partial x} |_{x=x_{0}}∂x∂f(x)​∣x=x0​​，代表了f(x)f(x)f(x)在x=x0x=x_{0}x=x0​的下降最快的方向，因此，梯度下降也叫作最速下降（steepest descent）。...

Classx-GAN1. GAN基本理论神经网络世界中，根据目标不同，可以分为两大类：判别网络(discriminative learning)：得到数据到label的映射模型，比如分类和回归模型。该部分通过反向传播技术，已经达到很好的效果；生成模型(Generative learning)：学习出给定数据集的样本分布，生成相似的新样本。两种类别并非完全独立，比如，近几年来，学术界常常使...

Classx-word2vec(词嵌入基础)1. 基本理论-Word2Vec词语的表示：1）one-hot模型，每个单词一个序号，表示简单，但忽略了词语的语义信息，比如两个意义相近的词语其表示的相似度应该也高。为了在表示上保留词语的语义信息，引入’Word2Vec 词嵌入工具‘。2）Word2Vec：每个词表示成一个定长向量，通过在语料库上的预训练，使得定长向量能表达不同词之间的相似和类...

Class13-循环神经网络进阶1.1 引入1.1.1 Recurrent Neural Network, RNN用于处理带有‘时序性’的数据，数据中一个unit与其前后unit有关.RNN网络结构：从上式可以看到：Ht−1H_{t-1}Ht−1​为t−1t-1t−1时刻的隐藏层输入，XtX_tXt​为t时刻的输入。比较神经网络（NN）的公式：$HW+b ,我们可以看到之前时刻, 我...

Class1-线性回归本节课主要介绍线性回归模型基础知识，该方法的python实现及pytorch实现1.1 线性回归模型：1.2 专有名词数据集：训练集、测试集、样本、特征、标签1.3 损失函数1.4 优化方法小批量随机梯度下降Class2 – softmax和分类模型2.1 softmax基本知识Class3...