吴恩达反向传播算法推导,吴恩达卷积神经网络ppt

如何评价吴恩达的学术地位

吴恩达(AndrewNg)，斯坦福计算机系的副教授，师从机器学习的大师级人物MichaelI.Jordan。

同门师兄弟包括ZoubinGhahramani,TommiJaakkola,EricXing,DavidBlei,徒子徒孙遍布美国名校，他们这一大学派的主要研究和贡献集中在统计机器学习（StatisticalMachineLearning）和图模型(ProbabilisticGraphicalmodel),具体的比如Spectralclustering,NonparametricBayesianMethods,VariationalMethods等等。

现在图模型和NonparametricBayesianMethods都是机器学习领域炙手可热的研究方向。

MichaelJordan的研究很好的将统计和机器学习联系了起来，将VariationalMethods发扬光大，他也还身兼统计系和计算机系教职。

吴恩达的学术研究兴趣比较广，做的东西有比较理论的，但更多的是理论和应用的结合。

他的一作主要集中在SpectralClustering,UnsupervisedLearning和增强式学习(reinforcementlearning)，机器学习的很多方面都有涉及，比如featureselection，over-fitting，policysearch。

由于做reinforcementlearning和unsupervisedlearning,所以有很多项目是和机器人有关的,他也发起了ROS(RobotOperatingSystem),一个开源的机器人操作系统，影响力很大。

其他的参与的研究就很多了，MichaelJordan那一片的统计机器学习都有参与，在图模型领域也有很多非常优秀论文，比如自然语言处理(NLP)的神器LatentDirchirelntAllocation(LDA)那篇论文他也有贡献。

他现在的研究兴趣主要是深度学习(DeepLearning)，深度学习说白了就是死灰复燃的神经网络(NeuralNetwork),神经网络的一代鼻祖是多伦多大学的GeoffreyHinton。

GeoffreyHinton和吴恩达一起在Google搞深度学习(GoogleBrainProject)，他们俩现在在这一块的论文很多，影响力很大。

总体而言他是顶级的机器学习研究者，在斯坦福是tenuredprofessor已经说明了这点，至于LabDirector，和学术无关，只要是教授都可以成立一个实验室自己当主任(Director)，不要把主任拿过来说事。

更重要的是，他在学术圈内圈外知名度很高！

除了师承之外，还有一个重要原因是他在斯坦福公开课里面主讲机器学习，讲的的确是非常好，在工程界非常受欢迎，后来和DaphneKoller(机器学习界的一姐和大牛，《ProbabilisticGraphicalModels:PrinciplesandTechniques》一书的作者)一起成立了Coursera。

吴恩达对慕课(MOOC)和Coursera的贡献我就不赘述了。

另外吴恩达会说中文，出生于英国，高中毕业于新加坡的RafflesInsitution，本科毕业于卡耐基梅隆大学，硕士在麻省理工，博士毕业于伯克利，早年在香港和英国生活过。

吴恩达的人物经历

吴恩达1976年出生于伦敦，父亲是一位香港医生，英文名叫AndrewNg，吴恩达年轻时候在香港和新加坡度过AI爱发猫 www.aifamao.com。

1992年吴恩达就读新加坡莱佛士书院，并于1997年获得了卡内基梅隆大学的计算机科学学士学位。

之后他在1998年获得了麻省理工学院的硕士学位，并于2002年获得了加州大学伯克利分校的博士学位，并从这年开始在斯坦福大学工作。他（2002年）住在加利福尼亚州的帕洛阿尔托。

吴恩达是斯坦福大学计算机科学系和电子工程系副教授，人工智能实验室主任。吴恩达主要成就在机器学习和人工智能领域，他是人工智能和机器学习领域最权威的学者之一。

2010年，时任斯坦福大学教授的吴恩达加入谷歌开发团队XLab——这个团队已先后为谷歌开发无人驾驶汽车和谷歌眼镜两个知名项目。

吴恩达与谷歌顶级工程师开始合作建立全球最大的“神经网络”，这个神经网络能以与人类大脑学习新事物相同的方式来学习现实生活。谷歌将这个项目命名为“谷歌大脑”。

吴恩达最知名的是，所开发的人工神经网络通过观看一周YouTube视频，自主学会识别哪些是关于猫的视频。这个案例为人工智能领域翻开崭新一页。

吴恩达表示，未来将会在谷歌无人驾驶汽车上使用该项技术，来识别车前面的动物或者小孩，从而及时躲避。

2014年5月16日，百度宣布吴恩达加入百度，担任百度公司首席科学家，负责百度研究院的领导工作，尤其是BaiduBrain计划。

2014年5月19日，百度宣布任命吴恩达博士为百度首席科学家，全面负责百度研究院。这是中国互联网公司迄今为止引进的最重量级人物。消息一经公布，就成为国际科技界的关注话题。

美国权威杂志《麻省理工科技评论》(MITTechnologyReview)甚至用充满激情的笔调对未来给予展望：“百度将领导一个创新的软件技术时代，更加了解世界。”

为什么浅层神经网络提取特征的能力不强

BP神经网络、离散Hopfield网络、LVQ神经网络等等都可以。

BP（BackPropagation）神经网络是1986年由Rumelhart和McCelland为首的科学家小组提出，是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。

BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。

BP神经网络模型拓扑结构包括输入层（input）、隐层(hiddenlayer)和输出层(outputlayer)。

2.Hopfiled神经网络是一种递归神经网络，由约翰·霍普菲尔德在1982年发明。Hopfield网络是一种结合存储系统和二元系统的神经网络。

它保证了向局部极小的收敛，但收敛到错误的局部极小值（localminimum），而非全局极小（globalminimum）的情况也可能发生。Hopfiled网络也提供了模拟人类记忆的模型。

3.LVQ神经网络由三层组成，即输入层、隐含层和输出层，网络在输入层与隐含层间为完全连接，而在隐含层与输出层间为部分连接，每个输出层神经元与隐含层神经元的不同组相连接。

隐含层和输出层神经元之间的连接权值固定为1。输入层和隐含层神经元间连接的