深度学习个人总结（1）

深度学习个人总结（1）

一、了解深度学习
1、什么是深度学习？
深度学习是机器学习的一个子集，被用于解决多个领域的实际任务，如计算机视觉（图像）、自然语言处理（NLP）和自动语音识别，是一个强大的工具，是机器学习众多方法的子集，主要使用人工神经网络，灵感在某种程度上来自于人类的大脑。

2、什么是神经网络？
神经网络是一种运算模型（机器学习的模型），由大量的节点（或称“神经元”）和之间相互的联接构成。每个节点代表一种特定的输出函数，称为激励函数、激活函数（activation function）。每两个节点间的联接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。

3、神经网络如何构造？
神经网络和人类的大脑中的神经网络相同，需要大量的神经元组成。
1）神经元
构成神经网络的基本单位。
yk=f（∑wik x xi + bk）
yk表示输出，f表示激活函数，xi表示输入，wi表示权重，bk表示偏置值
2）神经网络

输入层一般为我们想预测的数据，输出层一般为预测的结果

二、学习深度学习
1、前向传播
前向传播即神经网络中的各神经元的输出变成下一个神经元的输入的过程，层层递进，直到输出层输出结果。

2、反向传播
根据预测结果的的误差来修正神经网络中的各参数（如权值、偏差、层数等），使神经网络能更好更准确的预测结果。即通过输出反向来修正输入阶段的参数。
反向传播是训练神经网络的关键

3、激活函数
神经网络中的每个神经元节点接受上一层神经元的输出值作为本神经元的输入值，并将输入值传递给下一层，输入层神经元节点会将输入属性值直接传递给下一层（隐层或输出层）。在多层神经网络中，上层节点的输出和下层节点的输入之间具有一个函数关系，这个函数称为激活函数（又称激励函数）。
作用：使输出不再是输入的线性组合
选择合适的激活函数对模型预测的准确性非常关键！

4、损失函数
损失函数就是用来表现预测与实际数据的差距程度，以此来反向传播调整参数，可以用预测值和真实结果的差值，也可以用差值的绝对值或平方等来当作损失函数。

5、训练神经网络
一般用来训练的数据分为训练集和测试集，训练集用来训练模型，测试集用来检测模型的可用性。
训练集或测试集中数据又分为输入数据和真实结果数据。
初始的各参数可使用默认值或随机值，最后的参数需要通过训练来不断修改得到。
训练大致过程：通过前向传播得到预测结果，再与真实结果进行比较（损失函数），将结果反向传播，并修改路径上的各参数。