深度学习
随机梯度下降(SDG)与批量梯度下降(BDG)
方法 | 特点 |
---|---|
BDG | 1.采用所有数据进行梯度下降操作 2.在样本较多即数据量较大时训练速度很慢 |
SDG | 1.SDG使用一个样本进行梯度下降操作; 2.训练速度很快; 3.由于采用一个样本运算,因此有可能得到的不是全局最优解; 4.由于使用一个样本操作导致迭代的方向变化很大,因此不能很快的收敛到局部最优解 |
Bootstrapping
一种再抽样的统计方法。将“自助统计量”与“观察统计量”的关系≈“观察统计量”与“真值”的关系。
再抽样的定义:
①假定观察值便是总体
②由这一假定的总体抽取样本,即再抽样。
Attention机制
(明天再写,先看几篇论文)
机器学习
交叉熵
(1)信息量
x为离散型随机变量,其概率分布为p(x),则有信息量定义:
I
(
x
0
)
=
−
l
o
g
(
p
(
x
0
)
)
I(x_0)=-log(p(x_0))
I(x0)=−log(p(x0))
(2)熵
信息量的期望:
H
(
x
)
=
−
∑
i
=
1
n
p
(
x
i
)
l
o
g
(
p
(
x
i
)
)
H(x)=-\sum_{i=1}^{n}p(x_i)log(p(x_i))
H(x)=−i=1∑np(xi)log(p(xi))
(3)相对熵(KL散度)
同一个随机变量x,有两个单独的概率分布p、q(如真实值分布与样本值分布),相对熵描述两者等价时所需的信息增量。
D
K
L
(
P
∣
∣
Q
)
=
∑
i
=
1
n
p
(
x
i
)
l
o
g
(
p
(
x
i
)
q
(
x
i
)
)
D_{KL} (P||Q)=\sum_{i=1}^{n}p(x_i)log(\frac{p(x_i)}{q(x_i)} )
DKL(P∣∣Q)=i=1∑np(xi)log(q(xi)p(xi))
(4)交叉熵
D
K
L
(
P
∣
∣
Q
)
=
∑
i
=
1
n
p
(
x
i
)
l
o
g
(
p
(
x
i
)
q
(
x
i
)
)
D_{KL} (P||Q)=\sum_{i=1}^{n}p(x_i)log(\frac{p(x_i)}{q(x_i)} )
DKL(P∣∣Q)=i=1∑np(xi)log(q(xi)p(xi))
=
∑
i
=
1
n
p
(
x
i
)
l
o
g
(
p
(
x
i
)
−
∑
i
=
1
n
p
(
x
i
)
l
o
g
(
q
(
x
i
)
)
=\sum_{i=1}^{n}p(x_i)log(p(x_i)-\sum_{i=1}^{n}p(x_i)log(q(x_i))
=i=1∑np(xi)log(p(xi)−i=1∑np(xi)log(q(xi))
=
−
H
(
x
)
+
[
−
∑
i
=
1
n
p
(
x
i
)
l
o
g
(
q
(
x
i
)
)
]
=-H(x)+[-\sum_{i=1}^{n}p(x_i)log(q(x_i))]
=−H(x)+[−i=1∑np(xi)log(q(xi))]
其中,前者-H(x)为p的熵,一般为已知常量;后者为交叉熵,记为:
H
(
p
,
q
)
=
−
∑
i
=
1
n
p
(
x
i
)
l
o
g
(
q
(
x
i
)
)
H(p,q)=-\sum_{i=1}^{n}p(x_i)log(q(x_i))
H(p,q)=−i=1∑np(xi)log(q(xi))
在机器学习中,通常使用KL散度评估label和predict之间的距离,而-H(y)一般不变,因此,采用交叉熵可以作为loss函数评估模型。故其物理意义是预测输出与期望输出间的度量。
Multi-task Learning
单任务学习与多任务学习的区别
多任务学习的定义:
基于共享表示,把多个相关的任务放在一起学习的一种机器学习方法。
强化学习
SumTree
Sum-Tree类比Binary heap,但每个父节点的优先值是其子节点优先值的和。应用于DQN with Prioritized Experience Reply的优先级取样中。抽样步骤如下:
①按batch_size分割区间:
n
=
s
u
m
(
p
)
b
a
t
c
h
s
i
z
e
n=\frac{sum(p)}{batchsize}
n=batchsizesum(p)
②每个区间中随机选取一个数值,如下图中在[13,25)区间中选择24。
③按照下列公式向下搜索不断向下搜索,直到找到最后的priority和对应的数据。