机器学习方向上还有没有创新点呢？

其实，机器学习的创新点很多...

例如，残差收缩网络把降噪算法集成进深度学习的内部，在特征学习的过程中，自动消除冗余信息，从而提高在含噪数据上的效果

那么，你可能会说，究竟如何才能想出创新点呢？

首先你需要好好地精通机器学习的框架思路。

例如，如下图（为嘛不清楚~明明是我自己做的矢量图。。。），作为基础，你该知道，从某个角度来看，机器学习算法是为了学习一个还原真相（ground-truth）g(x)的映射函数y(x)。为了学习到这个映射函数，通常不同的机器学习算法总在讨论两个事情。一个是y(x)是在多大的假设空间中搜索的，另一个是如何在给定的假设空间中搜索到一个合适的函数作为y(x)的设定。后一个疑问通常需要结合损失函数和优化技术来实现。所以在这里我们看到了三个关键点：假设空间，损失函数和优化技术。

然后你练习一下把几乎所有的机器学习算法总结为上面三个关键点刻画的框架下的special case。例如逻辑回归：假设空间=x线性函数；损失函数=交叉熵损失函数（也对应于负似然函数）；优化技术=梯度下降等；又例如决策树：决策树对假设空间的局限非常小