动手学习深度学习（笔记一）

一：前言

应用深度学习需要思考的问题：

1.问题的动机和特点；
2.将大量不同类型神经网络层通过特定的方式组合在一起的模型背后的数字原理；
3.在原始数据上拟合极复杂的深层模型的优化算法；
4.有效训练模型、避免数值计算陷阱以及充分利用硬件性能所需的工程技能；
5.为解决方案挑选合适的变量（超参数）组合的经验。

时至今日，绝大多数神经网络都包含一下的核心原则：

1.交替使用线性处理单元与非线性处理单元，它们经常被成为“层”。
2.使用链式法则（即反向传播）来更新网络的参数。

机器学习和深度学习的关系

机器学习研究如何使用计算机系统利用经验改善性能。在机器学习的众多研究方向中，表征学习关注如何自动找出表示数据的合适方式，以便更好地将输入变为正确的输出。
该书要重点探讨的深度学习是具有多级表示的表征学习方法。在每一级，深度学习通过简单的函数将该级的表示变换为更高级的表示。因此，深度学习模型也可以看作是由许多简单函数复合而成的函数。当这些符合的函数足够多时，深度学习模型就可以表达非常复杂的变换。
深度学习可以逐级表示越来越抽象的概念或模式。以图像为例，它的输入是一堆原始像素值。深度学习模型中，图像可以逐级表示为特定位置和角度的边缘、由边缘组合得出的花纹、由多种花纹进一步汇合得到的特定部位的模式等。最终，模型能够较为容易根据更高级的表示完成给定的任务，如识别图像中的物体。
在自然语言处理领域，词袋模型多年来都被认为是不二之选。词袋模型是将一个句子映射到一个词频向量的模型，但这样的作法完全忽略了单词的排列顺序或者句中的标点符号。

二：小结

1.机器学习研究如何使用计算机系统利用经验改善性能。它是人工智能领域的分支，也是实现人工智能的一种手段。
2.作为机器学习的一类，表征学习关注如何自动找出表示数据的合适方式。
3.深度学习是具有多级表示的表征学习方法。它可以逐级表示越来越抽象的概念或模式。
4.深度学习所基于的神经网络模型和利用数据编程的核心思想实际上已经被研究了数百年。

参考文献：http://zh.gluon.ai/