深入浅出图神经网络学习笔记（2）神经网络基础

---

一、机器学习基本概念

随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。

---

1.机器学习流程概述

提取特征——建立模型——确定损失函数进行优化求解
模型可以看做一个复杂的函数f(X;W),建立输入到输出之间的映射，其中X是输入特征，W是定义模型的参数
调整模型使它可以完成有意义的预测，首先需要一个数值量化预测模型的对错，损失函数就是衡量输出与输入标签之间的差异，我们可以根据损失函数调整模型不断减少损失值。

1数学模型

以分类问题为例 训练集输入用集合X={（xi，yi）|i=1，2，…，N}表示。
其中xi∈Rd表示每个样本是一个d维的向量
标签yi是一系列离散值yi∈Y={0，1，2，…，K}
表示样本xi所属的类别，K为类别的种类数。
我们的目的是建立一个能完成分类功能的模型，即
需要这样一个模型：
f：Rd→RK，输入是d维的向量，经过f映射，
输出在每个类别上的概率分布P（Y|xi）=f（xi；θ），
这样就可以取概率最大的类别作为结果。
用集合X={（xi，yi）|i=1，2，…，N}表示。每一个样本xi都有对应的标签yi，其中xi∈Rd表示每个样本是一个d维的向量，标签yi是一系列离散值yi∈Y={0，1，2，…，K}，表示样本xi所属的类别，K为类别的种类数。我们的目的是建立一个能完成分类功能的模型，即需要这样一个模型：f：Rd→RK，输入是d维的向量，
经过f映射，输出在每个类别上的概率分布P（Y|xi）=f（xi；θ），这样就可以取概率最大的类别作为结果，这个是输出结果yi*=argmax(P（Y|xi))

2 损失函数

怎么判断模型的好坏呢？
我们通过比较输出结果yi*和输入标签yi之间的差异
——损失函数 通常用L（y，f（x；θ））来表示，
调整f的参数θ，使得损失函数值降低，当损失函数取最小值时，也就找到了一个不错的模型

3 梯度下降算法

1 通过随机初始化为需要求解的参数赋初值，作为优化的起点；
2使用模型对所有样本进行预测，计算总体的损失值；3利用损失值对模型参数进行求导，得到相应的梯度；
4基于梯度调整参数，得到迭代之后的参数。
5重复上述过程，直到达到停止条件。

二、神经网络

1 神经元

一个基本的神经元包括3个基本组成部分：
输入信号、线性组合和非线性激活函数

其中x0，x1，…，xm是输入信号，wi0，wi1，…，wim是神经元的权值，zi是输入信号的线性组合，b是偏置，激活函数为σ（.），ai是神经元输出信号。

2 多层感知机

多层感知器可以分为3个部分：输入层、隐藏层、输出层，其中隐藏层可以包括一层或者多层；每一层都由若干神经元组成，每个神经元承担的计算功能包括线性加权和非线性变换；层与层之间通过权值建立联系，后一层的每个神经元与前一层的每个神经元都产生连接。

3训练神经网络

神经网络的运行过程分为三步：前向传播、反向传播、参数更
新，通过不断迭代进行模型参数的更新，以从数据中挖掘出有价值的信息，如图2-8所示。
1）前向传播：给定输入和参数，逐层向前进行计算，最后输出预测结果；
2）反向传播：基于前向传播得到的预测结果，使用损失函数得到损失值，然后计算相关参数的梯度，该计算方法称为反向传播
3）参数更新：使用梯度下降算法对参数进行更新，重复上述过程，逐步迭代，直到模型收敛。

总结

提示：
以上就是今天要讲的内容，本文仅仅简单介绍了机器学习的流程和神经网络的基本知识，为以后的学习打下基础