机器学习6：逻辑回归到深度学习的思考

如下图，出现了不可分的情形：

，

表明x1与x2并不是两个很好的特征，可以从如下方面进行思考：

1、通过特征变换（将x1与x2通过各种运算组合得到新的可分特征x3与x4），将模型变成线性可分的模型。比如将上述点转换成每个点到一个固定坐标的距离，得到如下情形：

，变成线性可分。

2、从1的思路出发，特征变换可以选择使用线性变换和非线性变换，最终目的是得到线性可分特征。如果总是依靠人力的变换得到新的可分特征，那就不是完全意义上的机器学习。那么需要找到一些特征变换方式使得机器自己尝试调整参数得到好的分类效果。

3、基于2的思考，衍生出SVM和deep learning模型。

SVM通过选取合适的核函数对特征进行变换，然后再分类，常用的核函数有线性函数、多项式函数、sigmod函数、高斯核函数。最直观的理解，以多项式为例，它可以拟合出各种曲线（只要模型够复杂），达到非线性变换的效果，机器通过调整多项式参数就可以找到合适的特征。

deep learning则是通过使用多层的思想，不断的对特征进行一层层的重新组合，达到最优分类效果。组合过程就存在很大的灵活性，如全连接、卷积滤波等。