Acetering的博客

*注:本博客参考李宏毅老师2020年机器学习课程. 视频链接目录1 Auto-encoder基本概念1.1 基本任务1.2 网络结构1.3 Encoder1.4 Auto-encoder起源1.5 De-noising Auto-encoder2 Auto-encoder的应用与延伸2.1 Feature Disentangle2.2 Discrete Representation2.3 Generator2.4 Compression2.5 Anomaly Detection(异常检测)1 Auto

*注:本博客参考李宏毅老师2020年机器学习课程. 视频链接目录1 自监督学习的概念2 BERT2.1 BERT简介2.2 BERT的使用2.2.1 Sentiment Analysis（情感分析）2.2.2 POS（词性标记）2.2.3 Natural Language Inferencee（NLI，自然语言推论）2.2.4 Extraction-based Question Answering（QA）2.3 BERT的预训练2.4 BERT预训练的原理（猜想）2.5 Multi-lingual BER

*注:本博客参考李宏毅老师2020年机器学习课程. 视频链接目录1 Generation Adversarial Network1.1 GAN的工作方式1.2 Generator的特点1.3 Discriminator的特点1.4 “对抗”的进行1.5 GAN的应用2 GAN原理2.1 GAN的目标2.2 WGAN2.3 GAN训练的难点2.3.1 难以训练2.3.2 文字生成2.3.3 Mode Collapse与Mode Dropping2.4 GAN与监督学习3 Generator质量评估3.1 借

*注:本博客参考李宏毅老师2020年机器学习课程. 视频链接目录1 Seq2seq2 Encoder3 Decoder3.1 AT汉字的产生如何输出不定长向量避免一步错，步步错3.2 NAT3.3 Training3.4 Tips3.4.1 Copy Mechanism（复制机制）3.4.2 Guided Attention3.4.3 Beam Search3.4.4 Learning rate scheduling3.4.5 Back-translation（BT）本节可参考原文：Attention

*注:本博客参考李宏毅老师2020年机器学习课程. 视频链接目录1 网络的输入与输出类型2 Self-Attention 自注意力机制2.1 计算关联度2.2 soft-max2.3 计算最高关联度2.4 矩阵表示2.5 Self-Attention的学习2.6 进阶：Mutil-Head Self-Attention2.7 位置编码3 Self-Attention的应用3.1 [Transformer](https://arxiv.org/abs/1706.03762)3.2 NLP上的应用3.3 语音

*注:本博客参考李宏毅老师2020年机器学习课程. 视频链接目录0 引言1 图像识别的特点1.1 全连接神经网络的缺点1.2 特征的局部性1.3 检测器权值共享1.4 下采样2 CNN2.1 CNN基本结构2.2 卷积运算2.3 卷积与全连接的关系2.4 Max Pooling2.5 Flatten3 PyTorch实现：CNN分类MNIST3.1 网络结构定义0 引言CNN时卷积神经网络的简称，它被广泛用于图像和语音领域，CNN的提出大幅减少了全连接神经网络的参数量，并且性能也比全连接神经网络更高

*注:本博客参考李宏毅老师2020年机器学习课程. 视频链接目录1 模型构建1.1 模型定义1.2 训练步骤1.3 测试步骤1.4 数据加载1.5 模型初始化1.6 优化器1.7 损失函数1.8 启动训练本章利用前述PyTorch的基本使用方法，来完成一个对MNIST数据集的手写数字图片分类任务。1 模型构建1.1 模型定义首先我们继承torch.nn.Module类，创建一个自定义的网络模型，继承时至少需要重写两个方法：__init__()和forward(x)，前者用于模型初始化，定义模型结

*注:本博客参考李宏毅老师2020年机器学习课程. 视频链接目录1 Tensor1.1 Tensor创建1.1.1 从数据创建1.1.2 创建特殊值的Tensor1.1.3 创建指定步长的Tensor1.2 Tensor组合与变换1.2.1 两个Tensor拼接1.2.2 Tensor变形1.2.3 Tensor维度操作1.3 Tensor运算1.3.1 四则运算1.3.2 矩阵乘法与向量内积1.3.3 求导2 网络模型2.1 线性模型2.2 激活函数2.3 模型堆叠2.4 损失函数2.5 优化器Refe

*注:本博客参考李宏毅老师2020年机器学习课程. 视频链接目录1 反向传播算法数学基础1.1 前向传播1.2 反向传播2 矩阵运算1 反向传播算法数学基础反向传播算法是用于对神经网络中的各个网络参数计算偏导值的一种算法，其核心是链式求导法则。注：本节涉及到较复杂的数学计算，了解思想即可。(图一)在图一中，画出了一个神经网络的前两层结构的部分神经元。图中，xix_ixi​表示网络的输入。wijw_{ij}wij​表示第i层神经元的参数，j仅用作区分不同的参数。zijz_{ij}zij​表示第

*注:本博客参考李宏毅老师2020年机器学习课程. 视频链接目录1 神经网络1.1 全连接前馈神经名词解释2 深度学习3 深度学习中的典型问题3.1 为什么需要“深度学习”3.2 深层结构的求导问题1 神经网络在逻辑回归任务中，我们使用到的模型是一个函数，其中包含许多参数，最终模型的输出y可以表示为：y=softmax(sigmoid(wx+b))y=softmax(sigmoid(wx+b))y=softmax(sigmoid(wx+b))用图来表示为：(图1)如果将虚线框中的部分用一

*注:本博客参考李宏毅老师2020年机器学习课程. 视频链接目录1 逻辑回归1.1 概念1.2 损失函数1.3 梯度下降2 为什么不使用均方差作为损失函数3 多类别逻辑回归3.1 模型调整3.2 Softmax函数4 逻辑回归的局限与解决方案4.1 无法分类的局限4.2 解决方案——特征提取1 逻辑回归1.1 概念从上一节的讨论中，我们发现对一个具有特征值XXX的个体，如果XXX的各分量相互独立，并且每一个XXX也是独立同分布的话，那么对这个个体进行分类，其属于某一个类别的概率f(x)f(x)f(

*注:本博客参考李宏毅老师2020年机器学习课程. 视频链接目录1 分类模型1.1 应用1.2 分类与回归的区别1.3 分类模型1.3.1 目标函数1.3.2 损失函数1.4 朴素贝叶斯分类模型2 分类实例3 朴素贝叶斯分类器进一步讨论1 分类模型回归模型和分类模型都是一种输入到输出之间的映射关系，不同的是，回归模型是值到值的映射，分类模型是值到类别的映射。1.1 应用分类模型应用广泛，比如可以解决如下几种问题：输入患者的年龄、身高、体重、血糖、血压等等一系列指标，输出该患者得了哪一种病；

*注:本博客参考李宏毅老师2020年机器学习课程. 视频链接目录误差的两种类别误差的两种类别在模型拟合的过程中，误差的来源可以分为两类：过拟合：模型在trainning data上表现很好，但是在test data上表现糟糕；欠拟合：模型在trainning data和test data上表现都不太好，但是两个集合上误差相差不大；用实例来解释这两种情况。选定函数：y=x3−16xy=x^3-16xy=x3−16x数据为从-5到5，取50个点。def func(xs): ret

*注:本博客参考李宏毅老师2020年机器学习课程. 视频链接目录学习速率的设置问题Adagrad算法Adagrad算法原理解析参数更新的最佳值学习速率的设置问题从前面的实验来看，在模型训练过程中调整学习速率是一件十分麻烦的事情，主要表现在:lr设置过大：模型难以得到最优的参数，出现微分“震荡”现象；更新参数的值过大，导致更新后的参数剧烈膨胀，超出上限；lr设置过小：参数更新缓慢，求得最佳模型的时间大幅增加；偏导乘以lr过小导致根本无法更新参数；观察实验结果可以得出一下结

*注:本博客参考李宏毅老师2020年机器学习课程. 视频链接目录过拟合实例过拟合过拟合现象是指模型在训练集上表现很好，然而在测试集上表现很差。实例在实际运用中的数据不可能是完全准确的，可能含有一部分数据是带有误差的，如果这部分数据也送入训练集用于模型训练，那么模型很可能会学习到这部分“脏数据”的特征，而忽略了整体的特征，这在高次模型的训练中尤为明显。假设有如下训练数据：绝大部分数据是由y=2*x+5构成的，然而其中包含一些脏数据。测试集使用完全准确的数据。这里使用重新编写的回归模型，

目录Regression Model 回归模型Loss Function 损失函数Gradient Descent 梯度下降实例问题：解决办法：另一个例子Regression Model 回归模型回归模型用于得到输入数据到输出数据之间的一种映射关系，可以用y=wx+b(1)y=wx+b\tag{1}y=wx+b(1)来简单表示。其中w表示网络的权重，b表示偏置。x为网络输入，y为网络输出。Loss Function 损失函数损失函数用于评估模型预测（拟合）数据能力的好坏，损失函数值越小，