百度飞桨学习笔记（一）

前言

通过代码学习知识，而不是通过公式来学习知识，比较容易入门，且比较直观。在学习代码之前，我们仍需要掌握一些关于深度学习的基本概念。

人工智能、机器学习、深度学习的关系

人工智能研究的是如何使人的智能得以模拟、延伸和扩展的技术；

机器学习是实现人工智能的一种有效的方式；

深度学习是一种实现机器学习的技术；

机器学习的实现

机器学习的实现可以分为两步：训练和预测。
1、训练：从一定数量的样本中，学习输入与输出的关系。
2、预测：基于训练得到的输入与输出关系，对新的输入推测出新的输出。

机器学习的方法论

最主要的就是模型的确立，流程有：假设、评价、优化。

假设

根据数据，提出合理的模型参数，使得其符合数据的规律，个人认为这一步是最重要的，且需要一定的数学素养。

评价

需要定义评价指标来判断模型训练的好坏，通常采用模型预测值和真实值差距的评价函数（也被成为损失函数）。

优化

根据评价来调整模型的参数（利用评价函数与参数的关系求导使得评价函数最小，类似于最优化问题）。

在我看来，机器学习的本质其实是“参数估计”。

深度学习

深度学习和机器学习两者在理论结构上是一致的，即：模型假设、评价函数和优化算法，其根本差别在于假设的复杂度（例如图像识别）。

神经网络的基本概念

人工神经网络包括多个神经网络层，如卷积层、全连接层、LSTM等，每一层又包括很多神经元，超过三层的非线性神经网络都可以被称为深度神经网络。

·神经元：神经网络中每个节点都称为神经元，由两部分组成：
  ·加权和：将所有输入加权求和。
  ·非线性变换（激活函数）：加权和的结果经过一个非线性函数变换，让神经元计算具备非线性的能力。

·多层连接：大量这样的节点按照不同的层次排布，形成多层的结构连接起来，即称为神经网络。

·前向计算：从输入计算输出的过程，顺序从网络前至后。

·计算突：以图形化的范式展示神经网络的计算逻辑。可以将计算图以公式的方式表达：

$$Y=f_3(f_2(f_1(w_1\cdot x_1+w_2\cdot x_2+w_3\cdot x_3+b)+...)+...)$$

·反向传播：利用求导的链式法则，对上一层的权重进行修正。

深度学习框架

在深度学习框架下，不同模型的算法结构有较大的通用性，如常用于计算机视觉的卷积神经网络模型（CNN）和常用于自然语言处理的长期短期记忆模型(LSTM)，都可以分为组网模块、梯度下降的优化模块和预测模块等。这使得抽象出统一的框架成为了可能，并大大降低了编写建模代码的成本。一些相对通用的模块，如网络基础算子的实现、各种优化算法等都可以由框架实现。建模者只需要关注数据处理，配置组网的方式，以及用少量代码串起训练和预测的流程即可。

只要掌握深度学习必要但少量的理论知识，掌握Python编程即可以在深度学习框架实现非常有效的模型，甚至与该领域最领先的模型不相上下。

深度学习构建模型和完成训练的套路一致（五步法）

1. 数据处理：读取数据然后完成预处理操作（如数据校验、格式转换等等），保证数据可读取。
2. 模型设计：网络结构设计，相当于模型的假设空间，即模型能够表达的关系集合。
3. 训练配置：指定模型采用的寻解算法，即优化器，并指定计算资源。
4. 训练配置：指定模型采用的寻解算法，即优化器，并指定计算资源。
5. 模型保存：将训练好的模型保存，模型预测时调用。

波士顿房价预测任务

采用模型假设：多元线性回归模型（即认为输入与输出是一种线性关系，即神经元只有加权和，没有非线性函数）
$$y=\sum _{j=1}^M{x}_j{w}_j+b$$
评估：采用均方误差作为损失函数。
M S E = 1 n ∑ i = 1 n ( Y i ′ − Y i ) 2 MSE=\frac{1}{n}\sum_{i=1}^{n}{(Y_i'-Y_i)^2}