深度学习知识储备

卷积神经网络
梯度下降算法（gradient descent）
循环神经网络(RNN)
https://zhuanlan.zhihu.com/p/30844905
长短时记忆网络（LSTM）结构
反向传播算法：这部分数学公式还没看完。
神经网络激活函数：sigmoid、tanh、ReLU、softmax
递归神经网络
TensorFlow
机器学习有监督学习之–回归
Batch和Epoch
批量梯度下降(BGD)、随机梯度下降(SGD)以及小批量梯度下降(MBGD)的理解
强化学习
state-of-the-art：当前最好的水平
交叉熵
MSE（均方误差）、RMSE （均方根误差）、MAE （平均绝对误差）

超参数与参数的区别

模型参数是从数据中自动估计的，而模型超参数是手动设置的，并用于估计模型参数的过程。
k-means算法
深度学习中的五大正则化技术
批大小、mini-batch、epoch的含义

BGD与SGD的区别

• 普通的BGD算法是每次迭代把所有样本都过一遍，每训练一组样本就把梯度更新一次。而SGD算法是从样本中随机抽出一组，训练后按梯度更新一次，然后再抽取一组，再更新一次，在样本量及其大的情况下，可能不用训练完所有的样本就可以获得一个损失值在可接受范围之内的模型了。

小样本学习数据集||Omniglot和miniImagenet||

https://blog.csdn.net/weixin_41803874/article/details/92068250

• Omniglot数据集由来自50个不同字母的1623个字符的20个实例组成。每个实例都是由不同的人绘制的。MiniImagenet数据集是由Ravi&
  Larochelle
  (2017)提出，涉及64个训练集，12个验证集，24个测试集。Omniglot和MiniImagenet图像识别任务是目前最常用的小样本学习基准测试
  (Vinyals et al., 2016; Santoro et al., 2016; Ravi & Larochelle,
  2017)。
• miniImagenet下载地址 ： 百度云链接:
  https://pan.baidu.com/s/1npRhZajLrLe6-KtSbJsa1A 密码: ztp5
  百度云下载超级慢，翻墙用谷歌云盘：https://drive.google.com/open?id=1HkgrkAwukzEZA0TpO7010PkAOREb2Nuk
  需要csv文件从这里获取：https://github.com/vieozhu/MAML-TensorFlow-1
• Omniglot数据集：https://blog.csdn.net/weixin_41803874/article/details/91896817
  https://blog.csdn.net/weixin_41803874/article/details/92068250

参数方法和非参数方法

机器学习上的方法分为参数方法(根据先验知识假定模型服从某种分布，然后利用训练集估计出模型参数，也就弄清楚了整个模型，例如感知器)和非参数方法(基于记忆训练集，然后根据训练集预测，例如kNN)。

Seq2Seq模型概述

https://www.jianshu.com/p/b2b95f945a98

核密度估计 Kernel Density Estimation(KDE)

https://blog.csdn.net/unixtch/article/details/78556499