- 将向量下标为偶数的分量 (x2, x4, …) 累加, 写出相应表达式.
∑ i = n x 2 i \sum_{i=}^nx_{2i} i=∑nx2i
- 各出一道累加、累乘、积分表达式的习题, 并给出标准答案.
∑ i = 0 n x 2 i + 1 2 + 1 \sum_{i=0}^nx_{2i+1}^2+1 i=0∑nx2i+12+1
∏ i = 0 n x 2 i + 1 \prod_{i=0}^{n}x_{2i}+1 i=0∏nx2i+1
∫ 0 2 π cos x d x \int_0^{2\pi}\cos{x} \mathrm{d}x ∫02πcosxdx
- 你使用过三重累加吗? 描述一下其应用.
在神经网络中,权重一般表示为三维的数组,遍历权重数组一般要使用三重累加
- 给一个常用的定积分, 将手算结果与程序结果对比.
∫ 0 10 2 x \int_0^{10}2x ∫0102x
double integration = 0;
double delta = 0.01;
for (double x = 0; x <= 10; x += delta) {
integration += 2*x* delta;
}
System.out.println(integration);
100.09999999999866
可以说,已经很接近了
自己写一个小例子 ( n = 3 n = 3 n=3, m = 1 m = 1 m=1) 来验证最小二乘法.
X
=
[
1
2
3
]
\mathbf{X} = \begin{bmatrix} 1 \\ 2 \\ 3\\ \end{bmatrix}
X=⎣⎡123⎦⎤
Y
=
[
3
5
7
]
\mathbf{Y} = \begin{bmatrix} 3\\ 5\\ 7\\ \end{bmatrix}
Y=⎣⎡357⎦⎤
ω
=
(
X
T
X
)
−
1
X
T
Y
=
[
2.98
]
\mathrm{\omega}=(\mathbf{X}^{\mathrm{T}}\mathbf{X})^{-1}\mathbf{X}^{\mathrm{T}}\mathbf{Y}=[2.98]
ω=(XTX)−1XTY=[2.98]
ω
=
(
X
T
X
−
λ
I
)
−
1
X
T
Y
=
[
2.1
]
\mathrm{\omega}=(\mathbf{X}^{\mathrm{T}}\mathbf{X}-\lambda\mathbf{I})^{-1}\mathbf{X}^{\mathrm{T}}\mathbf{Y}=[2.1]
ω=(XTX−λI)−1XTY=[2.1]
自己推导一遍, 并描述这个方法的特点 (不少于 5 条).
1.回归问题是求解是多少的问题,而分类问题求解的是是哪一个的问题。
2.在求解分类问题的时候,设计标签向量的时候如果表示为[1, 2, 3]这种类型,种类之前存在大小关系,而在实际的问题中,类别没有大小关系。
3. 上一个问题可以采用one-hot编码,即采用二进制编码。有n个类别,就采用
⌈
log
2
x
⌉
\lceil \log_2x \rceil
⌈log2x⌉位二进制编码
4. logistic回归通过sofmax函数将
(
−
∞
,
+
∞
)
(-\infty,+\infty)
(−∞,+∞)的实数收敛到(0,1)表示概率,由于本身也是连续可导的,便于后面的梯度下降操作
5. 损失函数的求解有点类似交叉熵的求解