DatawhaleChina - Task6 神经网络基础

学习任务

前馈神经网络、网络层数、输入层、隐藏层、输出层、隐藏单元、激活函数的概念。
感知机相关；定义简单的几层网络（激活函数sigmoid），递归使用链式法则来实现反向传播。
激活函数的种类以及各自的提出背景、优缺点。（和线性模型对比，线性模型的局限性，去线性化）
深度学习中的正则化（参数范数惩罚：L1正则化、L2正则化；数据集增强；噪声添加；early stop；Dropout层）、正则化的介绍。
深度模型中的优化：参数初始化策略；自适应学习率算法（梯度下降、AdaGrad、RMSProp、Adam；优化算法的选择）；batch norm层（提出背景、解决什么问题、层在训练和测试阶段的计算公式）；layer norm层。
FastText的原理。
利用FastText模型进行文本分类。

我的学习

主要是以前做了一些内容，不然这个节奏有点难。2天学习这些太多了。
tf.nn.dynamic_rnn返回值详解
基于Tensorflow的LSTM代码分析-回归
正则化，L1正则和L2正则

继续学习