解释
- 各种回归/SVM当中,对输入 x x x进行高维映射 f ( x ) f(x) f(x),内积为 f ( x i ) T f ( x j ) f(x_i)^Tf(x_j) f(xi)Tf(xj)。
- 线性回归和SVM的推断解析解表达式只与内积有关,可以不显写参数 θ \theta θ和 f ( x ) f(x) f(x)。如果直接给出和函数表达式 k ( x i , x j ) = f ( x i ) T f ( x j ) k(x_i, x_j) = f(x_i)^Tf(x_j) k(xi,xj)=f(xi)Tf(xj),而不写出 f ( x ) f(x) f(x),这就是核技巧。
核函数判定
给定核函数,不一定能容易看出 f ( x ) f(x) f(x)。但这并不重要,重要的是什么函数可以判定为核函数:
- 对称性: k ( x i , x j ) = k ( x j , x i ) k(x_i, x_j)=k(x_j, x_i) k(xi,xj)=k(xj,xi)
- 核参数空间可测
- Mercer 定理:核半正定。即对任意有限集合
{
x
n
}
n
=
1
N
\{x_n\}_{n=1}^N
{xn}n=1N和实数
{
a
n
}
n
=
1
N
\{a_n\}_{n=1}^N
{an}n=1N
∑ i , j k ( x i , x j ) a i a j ≥ 0 \sum_{i,j}k(x_i, x_j)a_i a_j \ge 0 i,j∑k(xi,xj)aiaj≥0
例如线性核 k ( x i , x j ) = x i T x j k(x_i, x_j)=x_i^Tx_j k(xi,xj)=xiTxj,上式左侧直接得到 ∥ ∑ i a i x i ∥ 2 2 \|\sum_{i}a_ix_i \|^2_2 ∥∑iaixi∥22
核函数合成
核函数的和、积仍然是核函数。(和容易证,积写成 ∑ \sum ∑的形式,然后动动脑筋即可)
核函数内部参数
核函数内部是可以有参数的,比如径向基函数
k
(
x
i
,
x
j
)
=
e
x
p
[
−
0.5
(
x
i
−
x
j
)
T
(
x
i
−
x
j
)
λ
2
]
k(x_i, x_j)=exp \left [ -0.5\frac{(x_i-x_j)^T(x_i-x_j)}{\lambda^2} \right]
k(xi,xj)=exp[−0.5λ2(xi−xj)T(xi−xj)]
λ
\lambda
λ可以通过最大似然得到,即
λ
^
=
arg max
λ
P
(
y
∣
x
,
θ
)
\hat \lambda = \argmax_\lambda P(y|x, \theta)
λ^=λargmaxP(y∣x,θ)