深度学习体会1-初步接触深度学习

     注1：本文系作者原创，不得擅自转载或拷贝，转载请注明出处。

   注2：本人实为机器学习菜鸟，文中难免存在不足或错误，敬请指正。为了不断激励自己学习，将陆续写出自己在机器学习领域方面的体会和心得。

      从2016年5月中旬到2016年6月中旬，本人将I.Goodfellow的深度学习一书大概看了一遍，看的稀里糊涂，只从整体上了解了一下深度学习的发展历史、基本概念、常用方法和模型以及应用情况。如要深入理解和掌握深度学习，还必须多动手编码、多看最新的深度学习论文和资料等。

     回到正题，其实深度学习是机器学习领域的一个分支而已，从2006年一个加拿大的科学家辛顿发表了一篇文章开始火起来的，深度学习在早些年是已经存在了，从10年到现在的最近几年成为热点，尤其是2016年谷歌的阿法狗与韩国高手李世石的围棋博弈，最终谷歌阿法狗赢了，其中深度学习起着核心作用。那么深度学习为什么威力这么大？为什么人赢不过阿法狗，当然阿法狗估计现在向人们解释不了他为什么能赢？我们知道，深度学习本质上是一种机器学习，而机器学习从广义上来讲，他跟我们人类自身的学习很相似，我们认识一个事务或理解一个东西，获取某方面的知识，是从不断的社会实践经验中来；同样的道理，机器学习是从我们称为一种叫做训练数据中得到我们的知识；我们人类自身学习好不好，获取知识多不多，关键因素靠学习方法；同样，机器学习要获得好的泛化能力，也要依赖训练模型或方法。所以，机器学习可以从我们人类学习一个事务中获取启发，同样深度学习也是这样。接下来，我将根据I.Goodfellow的深度学习一书的目录架构开始我们的深度学习之旅。

     I.Goodfellow的书总共包括3大部分，第一部分是数学基础和机器学习基本概念，包括线性代数、矩阵分析、概率统计、信息论、神经计算、机器学习概论；第二部分是现代深度网络，包括深度前向网络、正则化、训练深度网络模型的优化理论、卷积神经网络、递归神经网络、实践及应用；第三部分是深度学习研究，包括线性因子模型、自动编码、表示学习、概率图模型、蒙特卡洛方法、区分函数、近似推断、深度生成模型。书中大概内容基本上是这么多，已经包括深度学习的大部分内容了。深度学习内容很多，深入理解每一个分支需要花费大量时间和经历。其实深度学习发展到现在，已经在工业界和学术界得到了广泛的应用，尤其是工业界很多产品或系统都相继被开发出来。

     我们知道，当前深度学习在工业界的应用尤其以顶尖互联网公司为主，像谷歌、Facebook、亚马逊、微软、百度、360、阿里、华为、腾讯等；在学术界领域，非常多的人从事深度学习研究，具有代表性的如hinton团队、Yoshua Bengio团队、颜水成（当然他在2015年已加盟360）、斯坦福吴恩达（已加盟百度）、Facebook燕乐成大牛、卡耐基梅隆大学的邢波教授团队、加州大学伯克利SParkML、余凯、张栋等等，国内做的较好的有南大周志华（机器学习牛人）、清华大学朱军教授、中科大陈恩红（主要做数据挖掘）、西电高新波、南理工杨建、电子科大周涛、华为杨强教授、华为李航研究员、科大讯飞、微软亚洲研究院、邓力（语音识别专家）等等，大家有兴趣的话可以访问他们的主页，去寻找感兴趣的研究领域。

  深度学习目前在工业界的应用已经越来越广泛和深入了，主要集中在图像识别、语音识别、自然语言处理这三大领域，后续将陆续应用到多个应用领域，如智能硬件、航空航天、工业机器人、交通、旅游、民生等多个行业领域。下面，将从基本的深度学习开始总结，主要涉及深度学习基础、常用模型和算法、深度学习的应用场景、深度学习的思考等。