吴恩达卷积神经网络 笔记,吴恩达 深度神经网络

如何评价吴恩达的学术地位

吴恩达(AndrewNg)，斯坦福计算机系的副教授，师从机器学习的大师级人物MichaelI.Jordan。

同门师兄弟包括ZoubinGhahramani,TommiJaakkola,EricXing,DavidBlei,徒子徒孙遍布美国名校，他们这一大学派的主要研究和贡献集中在统计机器学习（StatisticalMachineLearning）和图模型(ProbabilisticGraphicalmodel),具体的比如Spectralclustering,NonparametricBayesianMethods,VariationalMethods等等。

现在图模型和NonparametricBayesianMethods都是机器学习领域炙手可热的研究方向。

MichaelJordan的研究很好的将统计和机器学习联系了起来，将VariationalMethods发扬光大，他也还身兼统计系和计算机系教职。

吴恩达的学术研究兴趣比较广，做的东西有比较理论的，但更多的是理论和应用的结合。

他的一作主要集中在SpectralClustering,UnsupervisedLearning和增强式学习(reinforcementlearning)，机器学习的很多方面都有涉及，比如featureselection，over-fitting，policysearch。

由于做reinforcementlearning和unsupervisedlearning,所以有很多项目是和机器人有关的,他也发起了ROS(RobotOperatingSystem),一个开源的机器人操作系统，影响力很大。

其他的参与的研究就很多了，MichaelJordan那一片的统计机器学习都有参与，在图模型领域也有很多非常优秀论文，比如自然语言处理(NLP)的神器LatentDirchirelntAllocation(LDA)那篇论文他也有贡献。

他现在的研究兴趣主要是深度学习(DeepLearning)，深度学习说白了就是死灰复燃的神经网络(NeuralNetwork),神经网络的一代鼻祖是多伦多大学的GeoffreyHinton。

GeoffreyHinton和吴恩达一起在Google搞深度学习(GoogleBrainProject)，他们俩现在在这一块的论文很多，影响力很大。

总体而言他是顶级的机器学习研究者，在斯坦福是tenuredprofessor已经说明了这点，至于LabDirector，和学术无关，只要是教授都可以成立一个实验室自己当主任(Director)，不要把主任拿过来说事。

更重要的是，他在学术圈内圈外知名度很高！

除了师承之外，还有一个重要原因是他在斯坦福公开课里面主讲机器学习，讲的的确是非常好，在工程界非常受欢迎，后来和DaphneKoller(机器学习界的一姐和大牛，《ProbabilisticGraphicalModels:PrinciplesandTechniques》一书的作者)一起成立了Coursera。

吴恩达对慕课(MOOC)和Coursera的贡献我就不赘述了。

另外吴恩达会说中文，出生于英国，高中毕业于新加坡的RafflesInsitution，本科毕业于卡耐基梅隆大学，硕士在麻省理工，博士毕业于伯克利，早年在香港和英国生活过。

谷歌人工智能写作项目：小发猫

吴恩达的主要成就

吴恩达早期的工作包括斯坦福自动控制直升机项目，吴恩达团队开发了世界上最先进的自动控制直升机之一常见的神经网络结构。

吴恩达同时也是机器学习、机器人技术和相关领域的100多篇论文的作者或合作者，他在计算机视觉的一些工作被一系列的出版物和评论文章所重点引用。

早期的另一项工作是theSTAIR(StanfordArtificialIntelligenceRobot)project，即斯坦福人工智能机器人项目，项目最终开发了广泛使用的开源机器人技术软件平台ROS。

2011年，吴恩达在谷歌成立了“GoogleBrain”项目，这个项目利用谷歌的分布式计算框架计算和学习大规模人工神经网络。

这个项目重要研究成果是，在16000个CPU核心上利用深度学习算法学习到的10亿参数的神经网络，能够在没有任何先验知识的情况下，仅仅通过观看无标注的YouTube的视频学习到识别高级别的概念，如猫，这就是著名的“GoogleCat”。

这个项目的技术已经被应用到了安卓操作系统的语音识别系统上。

吴恩达是在线教育平台Coursera的联合创始人，吴恩达在2008年发起了“StanfordEngineeringEverywhere”（SEE）项目，这个项目把斯坦福的许多课程放到网上，供免费学习。

NG也教了一些课程，如机器学习课程，包含了他录制的视频讲座和斯坦福CS299课程的学生材料。吴恩达的理想是让世界上每个人能够接受高质量的、免费的教育。

今天，Coursera和世界上一些顶尖大学的合作者们一起提供高质量的免费在线课程。Coursera是世界上最大的MOOC平台。

DeepLearningwithCOTSHPCSystemsAdamCoates,BrodyHuval,TaoWang,DavidJ.Wu,BryanCatanzaroandAndrewY.NginICML2013.ParsingwithCompositionalVectorGrammarsJohnBauer,RichardSocher,ChristopherD.Manning,AndrewY.NginACL2013.LearningNewFactsFromKnowledgeBasesWithNeuralTensorNetworksandSemanticWordVectorsDanqiChen,RichardSocher,ChristopherD.Manning,AndrewY.NginICLR2013.Convolutional-RecursiveDeepLearningfor3DObjectClassification.RichardSocher,BrodyHuval,BharathBhat,ChristopherD.Manning,AndrewY.NginNIPS2012.ImprovingWordRepresentationsviaGlobalContextandMultipleWordPrototypesEricH.Huang,RichardSocher,ChristopherD.ManningandAndrewY.NginACL2012.LargeScaleDistributedDeepNetworks.J.Dean,G.S.Corrado,R.Monga,K.Chen,M.Devin,Q.V.Le,M.Z.Mao,M.A.Ranzato,A.Senior,P.Tucker,K.Yang,A.Y.NginNIPS2012.RecurrentNeuralNetworksforNoiseReductioninRobustASR.A.L.Maas,Q.V.Le,T.M.O'Neil,O.Vinyals,P.Nguyen,andAndrewY.NginInterspeech2012.Word-levelAcousticModelingwithConvolutionalVectorRegressionLearningWorkshopAndrewL.Maas,StephenD.Miller,TylerM.O'Neil,AndrewY.Ng,andPatrickNguyeninICML2012.EmergenceofObject-SelectiveFeaturesinUnsupervisedFeatureLearning.AdamCoates,AndrejKarpathy,andAndrewY.NginNIPS2012.DeepLearningofInvariantFeaturesviaSimulatedFixationsinVideoWillY.Zou,ShenghuoZhu,AndrewY.Ng,KaiYuinNIPS2012.LearningFeatureRepresentationswithK-means.AdamCoatesandAndrewY.NginNeuralNetworks:TricksoftheTrade,Reloaded,SpringerLNCS2012.BuildingHigh-LevelFeaturesusingLargeScaleUnsupervisedLearningQuocV.Le,Marc'AurelioRanzato,RajatMonga,MatthieuDevin,KaiChen,GregS.Corrado,JeffreyDeanandAndrewY.NginICML2012.SemanticCompositionalitythroughRecursiveMatrix-VectorSpacesRichardSocher,BrodyHuval,ChristopherD.ManningandAndrewY.NginEMNLP2012.End-to-EndTextRecognitionwithConvolutionalNeuralNetworksTaoWang,DavidJ.Wu,AdamCoatesandAndrewY.NginICPR2012.SelectingReceptiveFieldsinDeepNetworksAdamCoatesandAndrewY.NginNIPS2011.ICAwithReconstructionCostforEfficientOvercompleteFeatureLearningQuocV.Le,AlexKarpenko,JiquanNgiamandAndrewY.NginNIPS2011.SparseFilteringJiquanNgiam,PangweiKoh,ZhenghaoChen,SoniaBhaskarandAndrewY.NginNIPS2011.UnsupervisedLearningModelsofPrimaryCorticalReceptiveFieldsandReceptiveFieldPlasticityAndrewSaxe,ManeeshBhand,RitvikMudur,BipinSureshandAndrewY.NginNIPS2011.DynamicPoolingandUnfoldingRecursiveAutoencodersforParaphraseDetectionRichardSocher,EricH.Huang,JeffreyPennington,AndrewY.Ng,andChristopherD.ManninginNIPS2011.Semi-SupervisedRecursiveAutoencodersforPredictingSentimentDistributionsRichardSocher,JeffreyPennington,EricHuang,AndrewY.Ng,andChristopherD.ManninginEMNLP2011.TextDetectionandCharacterRecognitioninSceneImageswithUnsupervisedFeatureLearningAdamCoates,BlakeCarpenter,CarlCase,SanjeevSatheesh,BipinSuresh,TaoWang,DavidWuandAndrewY.NginICDAR2011.ParsingNaturalScenesandNaturalLanguagewithRecursiveNeuralNetworksRichardSocher,CliffLin,AndrewY.NgandChristopherManninginICML2011.TheImportanceofEncodingVersusTrainingwithSparseCodingandVectorQuantizationAdamCoatesandAndrewY.NginICML2011.OnOptimizationMethodsforDeepLearningQuocV.Le,JiquanNgiam,AdamCoates,AbhikLahiri,BobbyProchnowandAndrewY.NginICML2011.LearningDeepEnergyModelsJiquanNgiam,ZhenghaoChen,PangweiKohandAndrewY.NginICML2011.Multim