机器学习小试(4)当前教材中场休息

原创 2017年07月10日 23:35:47

学习http://mooc.guokr.com/note/16274/这个视频教程已经一段时间了,监督学习部分基本上过完,一些疑问,一些思考,值得记下来。
1. 教材上半部分的小结
上半部分主要介绍了监督学习的一些经典方法。回过头来看,这部分经典方法主要解决函数拟合和分类问题。在训练集已知确切结果的情况下,通过线性回归、逻辑回归、构造神经网络等手段,完成对测试集输入的拟合、分类。
实际上,监督学习这一块介绍的经典方法是对大学教育《模式识别》、《数值计算》、《数理统计》等课程涉及内容的融汇与应用,仍然属于较为基础、易懂的部分。之所以这样说,主要是有以下几点:
(1) 基于特征的拟合与分类: 必须从输入数据构造一定的特征作为输入(最后说的支持矢量机已经带有一些自构造特征的苗头,但依旧是传统方法)。如果没有构造好特征,比如多项式模型漏了某个关键交叉项,拟合的效果就好不了。
(2)定步长BP算法进行梯度加权反馈:对神经网络的训练采用的是模式识别中的经典案例,定步长BP算法。
但是,还是要大赞教材。由于授课者已经对机器学习领域的理论融会贯通,虽然是利用经典教材中的现有知识点讲解,但把这些独立、零碎的知识整合成为层次分明、关联有序、巨细张弛的知识结构,实属不易。

2. 阅读非监督部分之前的思考

(1)特征的构造,怎么破?
传统的拟合预测/分类识别算法,需要设计者根据应用场景,提取出一组特征作为输入。比如图像识别中的尺度不变特征(SIFT)及其庞大的衍生家族。然而稍微复杂的应用,我们观测到的现象与本质之间存在着非常复杂的联系,很难准确找到哪些特征是必须的。
即使简化N倍,假设小张给了1000组y,x值,用的是

y=13tan(x)+7log2(x)11sin(x)0.3
小李在不知道公式的情况下,使用多项式/神经网络等方法,拟合出来的效果肯定不如用知道大致公式时的模型:
y=Atan(x)+Blog2(x)+Csin(x)+D

来的精确。恰当的从输入x构造出三个特征:
x1=tan(x),x2=log2(x),x3=sin(x)

可以使非线性问题立刻变为线性问题。因此,对传统的识别分类来说,选择合理的特征可以大大降低复杂度。

(2)脑袋里的一些胡思乱想–卷积神经网络的来头
现在人这么聪明,一定有一种自动选择特征的方法。我指的不是SVM,支持矢量机用于分类的特征构造方法太暴力了。从多项式拟合开始,如何知道需不需要交叉项、高次项?或者如何让算法自己去寻找?
假设现在的输入X是一个m维的矢量X={x0...xm1}
- 各个xi的二次项、交叉项可以通过卷积运算来“生产”:

X(k)=conv(X(k),X(k))
将会生产出大量的交叉项、平方项。比如x1x2x3x4之类。
- 如果安排多次卷积,将会生成高次交叉项. 如 x21x2之类。
- 自动训练网络中的权,会不会有可能打开那些需要的特征通路,关闭那些无效的通路?

3 关于我们的大脑
神经网络计算与人脑的关系,或许可以类比飞机与动物。虽然飞机、鸟、蝙蝠都能飞,但这三个的原理实际上各不相同。飞机与鸟比较像一些,与蝙蝠差的远一些。蝙蝠更像一个抱水的游泳者,鸟或许在滑翔阶段与飞机类似。现在的机器学习,神经网络,在模拟人脑方面,如果已经达到飞机与鸟的物理相似性,那就反过来意味着无趣。原来“我”、“物”的存在感,就是驻留在大脑中的结构。这个结构是由皮肤、嗅觉、听觉、视觉、味觉等传感器输入的信息训练出来的;喜怒哀乐都是代价函数的输出而已。额,我宁愿这不是真的。

版权声明:本文为博主原创文章,转载时请注明 http://blog.csdn.net/goldenhawking 举报

相关文章推荐

机器学习小试(3)Tensorboard 可视化初步

上文里,我们做了一个网络,用于分类平面内的三类散点。这个网络的结构很清晰,但怎么可视化呢?根据教程中的指示,开始试试Tensorboard (TB). 由理论学习,知道了神经网络最重要的就是训练技术...

机器学习小试(2)使用多层神经网络进行分类实验

已经学到这篇教程的第十章啦!教程的数学背景清晰、讲述深浅适宜。动手实现一个分类器吧!借助TF,我们可以绕开烦恼的偏微分方程与矩阵权传递。此外,变步长下降算法能够很好的适应梯度变化。

我是如何成为一名python大咖的?

人生苦短,都说必须python,那么我分享下我是如何从小白成为Python资深开发者的吧。2014年我大学刚毕业..

机器学习小试(1)TensorFlow的第一个程序

最近,因为项目需要开始接触机器学习。虽然在学校对神经网络等算法已有接触,但早已忘得差不多了。在学习TF之前,建议和我一样,先从理论背景开始看起。

推荐数据挖掘入门教材《数据挖掘与机器学习 WEKA应用技术与实践》

该书由于去年刚出比较新,所以很难在网上下载到电子书,本人很幸运找到了前两章的电子版,而第二章又是本书的关键,所以建议大家先看看第二章,如果觉的写的好,可以再买书,或寻求电子版的全书,下载前两章请到:h...
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)