Coursera《machine learning》--(8)神经网络表述

本文详细介绍了神经网络的非线性假设,通过实例展示了为何需要非线性分类器来解决复杂问题。神经网络起源于模仿大脑,能够处理多种类型的机器学习问题。文中还探讨了神经元模型,解释了神经网络的层次结构,以及如何用向量化方法描述神经网络的计算。此外,还通过逻辑运算的例子展示了神经网络如何学习和表达复杂非线性假设,以及如何应用于多类分类问题。
摘要由CSDN通过智能技术生成
本笔记为Coursera在线课程《Machine Learning》中的神经网络章节的笔记。

八、神经网络:表述(Neural Networks: Representation)

本节主要讨论一种叫做神经网络的机器学习算法。首先讨论神经网络的表层结构,在后续的课程中再讨论具体的学习算法。神经网络其实是一个比较古老的算法,它沉寂过一点时间,但现在又成为了许多机器学习的首选技术。

8.1 非线性假设

参考视频: 8 - 1 - Non-linear Hypotheses (10 min).mkv

前面已经讲述了线性回归和逻辑回归算法,为什么还要研究神经网络呢?下面,通过几个机器学习的例子来阐述研究神经网络的目的,这几个例子的解决都依赖于复杂的非线性分类器。

考虑下图所示的监督学习的例子(房价分类问题,而不是不是以前的房价预测问题,给定房子的一些特征,预测在未来半年内该房子是否可以卖得出去,这是一个分类问题),在图中,给出了训练样本集(其中,+为这个样本,-为负样本)。如果利用逻辑回归来解决这个问题,首先需要构造一个包含很多个非线性项的假设逻辑回归函数(包含很多的二次项、甚至三次项等);当非线性项足够多时,可以得到能够将正样本和负样本区分开的分类边界(如下图的分类界面所示)。当只有两个特征时(x1x2),这种分类方法的效果其实还是不错的,因为可以将x1x2的所有组合都包含在多项式中。

但对于许多复杂的机器学习问题,涉及到的特征往往多于两项,例如,某个房子可能有100个特征(即n=100),此时,如果仍旧利用逻辑回归方法,即使在逻辑回归函数中仅考虑所有的二次项,那么最后的回归函数也会有5000个二次项:

    

并且,随着特征特殊个数n的增加,二次项的个数大约以n2的量级增长(计算复杂度是o(n2),二次项的个数大约是n2/2个),所以说,要在逻辑回归函数中包含所有的二次项是非常困难的,更不要说再包含三次项、四次项等(如果考虑三次项,计算复杂度将会变为o(n3)),回归函数大概包括17000个三次项)。并且,由于多项式项个数的增加,最后结果可能会产生过拟合的问题,同时,处理这么多的项,也会存在运算量过大的问题。同时,如果真的只考虑二次项,也会抛弃大量的其他特征,使得最后得到的决策边界并不好。实际中,许多机器学习问题的特征个数n是很大的,以下给出一些例子。

下图给出了一个计算机视觉中的问题:利用机器学习来训练一个分类器,它可以判定一副输入图像是否为一辆汽车。取出图像中的一个小矩形部分,将其放大,可以看到,人类眼中的汽车,计算机看到的却是一个数值矩阵(每个数值代表相应位置的灰度值),所以,这个识别问题对计算机而言,就变为了根据像素点亮度矩阵判断这个数值矩阵到底代表的是什么。

具体而言,用机器学习算法构造汽车识别器的基本过程是:将给定的一个带有标签的样本集(其中,一类是汽车样本,另一类是非汽车样本)输入到学习算法中,从而得到一个分类器;对于给定的一个新的测试样本,该分类器就可以判断出"这是什么东西"。理想情况下,分类器可以识别出一个汽车。

为了描述引入非线性分类器的必要性,从训练样本集中挑出一些汽车图片和非汽车图片,从每组图像中挑出一组像素点(pixel1pixel2两个像素点),在坐标系中标出该汽车的位置(即为坐标系中的一个点,x坐标为pixel1亮度值、y坐标为pixel2亮度值),利用同样的方法,标出其它图片中的汽车的位置及非汽车物体的位置,绘制结果如下图所示。对于这种简答的情况,似乎结果还是可以线性分割的。

下面,继续绘制更多的样本点,绘制结果如下图所示。可以看到,汽车样本和非汽车样本分布在坐标系中的不同区域(一个非线性分类问题),所以,我们需要一个非线性分类器将这两类样本尽量区分开来(下图绘制出了一个非线性的决策边界)。

这个分类问题的样本特征个数大概有多少呢?假使我们采用的样本像素大小都是50×50,并且将所有的像素点的灰度值视为特征,则会有 2500个特征,如果再进一步将两两特征组合构成一个多项式模型,则会有约25002/2 个(接近300万个)特征。因此,只是简单地增加二次型、三次项等的逻辑回归算法,并不是一个解决复杂

### 回答1: Coursera-ml-andrewng-notes-master.zip是一个包含Andrew Ng的机器学习课程笔记和代码的压缩包。这门课程是由斯坦福大学提供的计算机科学和人工智能实验室(CSAIL)的教授Andrew Ng教授开设的,旨在通过深入浅出的方式介绍机器学习的基础概念,包括监督学习、无监督学习、逻辑回归、神经网络等等。 这个压缩包中的笔记和代码可以帮助机器学习初学者更好地理解和应用所学的知识。笔记中包含了课程中涉及到的各种公式、算法和概念的详细解释,同时也包括了编程作业的指导和解答。而代码部分包含了课程中使用的MATLAB代码,以及Python代码的实现。 这个压缩包对机器学习爱好者和学生来说是一个非常有用的资源,能够让他们深入了解机器学习的基础,并掌握如何运用这些知识去解决实际问题。此外,这个压缩包还可以作为教师和讲师的教学资源,帮助他们更好地传授机器学习的知识和技能。 ### 回答2: coursera-ml-andrewng-notes-master.zip 是一个 Coursera Machine Learning 课程的笔记和教材的压缩包,由学生或者讲师编写。这个压缩包中包括了 Andrew Ng 教授在 Coursera 上发布的 Machine Learning 课程的全部讲义、练习题和答案等相关学习材料。 Machine Learning 课程是一个介绍机器学习的课程,它包括了许多重要的机器学习算法和理论,例如线性回归、神经网络、决策树、支持向量机等。这个课程的目标是让学生了解机器学习的方法,学习如何使用机器学习来解决实际问题,并最终构建自己的机器学习系统。 这个压缩包中包含的所有学习材料都是免费的,每个人都可以从 Coursera 的网站上免费获取。通过学习这个课程,你将学习到机器学习的基础知识和核心算法,掌握机器学习的实际应用技巧,以及学会如何处理不同种类的数据和问题。 总之,coursera-ml-andrewng-notes-master.zip 是一个非常有用的学习资源,它可以帮助人们更好地学习、理解和掌握机器学习的知识和技能。无论你是机器学习初学者还是资深的机器学习专家,它都将是一个重要的参考工具。 ### 回答3: coursera-ml-andrewng-notes-master.zip是一份具有高价值的文件,其中包含了Andrew Ng在Coursera上开授的机器学习课程的笔记。这份课程笔记可以帮助学习者更好地理解掌握机器学习技术和方法,提高在机器学习领域的实践能力。通过这份文件,学习者可以学习到机器学习的算法、原理和应用,其中包括线性回归、逻辑回归、神经网络、支持向量机、聚类、降维等多个内容。同时,这份笔记还提供了很多代码实现和模板,学习者可以通过这些实例来理解、运用和进一步深入研究机器学习技术。 总的来说,coursera-ml-andrewng-notes-master.zip对于想要深入学习和掌握机器学习技术和方法的学习者来说是一份不可多得的资料,对于企业中从事机器学习相关工作的从业人员来说也是进行技能提升或者知识更新的重要资料。因此,对于机器学习领域的学习者和从业人员来说,学习并掌握coursera-ml-andrewng-notes-master.zip所提供的知识和技能是非常有价值的。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值