什么是kernel trick
在机器学习当中,我们有时需要将n维数据投影到更高维的空间然后做内积,传统思想是先用空间转换函数将数据投影到高维空间,然后再对数据做内积。例如,有两个向量
我们要利用转换函数
将x和z做转换然后再内积,过程如下
可以看到,将x和z通过函数转换再做内积的步骤,可以替换成x和z的内积再取平方,后者就是用了kernel trick。当数据需要投影到更高维时,计算的代价将会很高,如下图所示
这时使用kernel trick,先计算x和z的内积再取平方,可以减少计算代价,节省时间。
kernel trick的判断与构造
Mercer 定理:任何半正定的函数都可以作为核函数。
未完待续。。。