AI领域基础知识（自用-持续更新）

深度学习

随机梯度下降(SDG)与批量梯度下降(BDG)

方法	特点
BDG	1.采用所有数据进行梯度下降操作 2.在样本较多即数据量较大时训练速度很慢
SDG	1.SDG使用一个样本进行梯度下降操作； 2.训练速度很快； 3.由于采用一个样本运算，因此有可能得到的不是全局最优解； 4.由于使用一个样本操作导致迭代的方向变化很大，因此不能很快的收敛到局部最优解

Bootstrapping

  一种再抽样的统计方法。将“自助统计量”与“观察统计量”的关系≈“观察统计量”与“真值”的关系。
  再抽样的定义：
  ①假定观察值便是总体
  ②由这一假定的总体抽取样本，即再抽样。

Attention机制

（明天再写，先看几篇论文）

机器学习

交叉熵

（1）信息量
  x为离散型随机变量，其概率分布为p(x)，则有信息量定义：$$I(x_0)=-log(p(x_0))$$

（2）熵
  信息量的期望：$$H(x)=-\sum _{i=1}^{n}p(x_i)log(p(x_i))$$

（3）相对熵（KL散度）
  同一个随机变量x，有两个单独的概率分布p、q（如真实值分布与样本值分布），相对熵描述两者等价时所需的信息增量。$$D_{KL}(P||Q)=\sum _{i=1}^{n}p(x_i)log(\frac{p(x_i)}{q(x_i)})$$

（4）交叉熵
$$D_{KL}(P||Q)=\sum _{i=1}^{n}p(x_i)log(\frac{p(x_i)}{q(x_i)})$$$$=\sum _{i=1}^{n}p(x_i)log(p(x_i)-\sum _{i=1}^{n}p(x_i)log(q(x_i))$$$$=-H(x)+[-\sum _{i=1}^{n}p(x_i)log(q(x_i))]$$
  其中，前者-H(x)为p的熵，一般为已知常量；后者为交叉熵，记为：$$H(p,q)=-\sum _{i=1}^{n}p(x_i)log(q(x_i))$$
  在机器学习中，通常使用KL散度评估label和predict之间的距离，而-H(y)一般不变，因此，采用交叉熵可以作为loss函数评估模型。故其物理意义是预测输出与期望输出间的度量。

Multi-task Learning

单任务学习与多任务学习的区别

多任务学习的定义：
  基于共享表示，把多个相关的任务放在一起学习的一种机器学习方法。

强化学习

SumTree

  Sum-Tree类比Binary heap，但每个父节点的优先值是其子节点优先值的和。应用于DQN with Prioritized Experience Reply的优先级取样中。抽样步骤如下：
  ①按batch_size分割区间：$$n=\frac{sum(p)}{batchsize}$$
  ②每个区间中随机选取一个数值，如下图中在[13,25)区间中选择24。
  ③按照下列公式向下搜索不断向下搜索，直到找到最后的priority和对应的数据。