〇、前言
本系列博客的写作目的是,按周总结HIT 2023春季学期研究生课程《深度学习与神经网络》的课程内容,以便对所学知识做梳理和分享。
一、深度学习概述
人工智能 (Artificial Intelligence): 是用机器去实现所有目前必须借助人类智慧才能实现的任务。其具体研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统。在上世纪这个概念被提出之后,经历了不同分支的发展,而机器学习是人工智能的一个重要分支,是实现智能化的关键。其经典定义可被描述为:利用经验(数据集)来改善计算机系统的性能。
但在应用和研究过程中,人们发现积累的大量数据绝大部分是非结构化(语义不清楚、稀疏)数据,机器学习方法收效甚微。于是人们开始重新思考人脑感知并处理外部模糊语义信息的过程,提出了人工神经网络(ANN)的概念。
简而言之,神经网络是人脑的抽象、简化和模拟,应反映人脑功能的以下特征:
1. 网络的信息处理,由神经元间的相互作用实现,具有并行处理的特点
2. 知识与信息的存储,表现为神经元间分布式的物理联系;
3. 网络的学习和识别,决定于神经元联接权系数的动态演化过程;
4. 具有联想记忆特性。
于是乎,深度学习领域便有了下图所示的发展史
二、线性分类与感知机
1.线性回归
训练集(training set)或者训练数据(training data), 是我们流程中的输入数据,一般称为
输出数据,一般称为
拟合的函数(或者称为假设或者模型):一般写做 ;
训练数据的条目数(training set)
构造代价(误差)函数:,目标为找到超平面参数θ ,使代价函数的值达到最小。非线性方程采用迭代方法求解。
2.感知机
感知机(Perceptron)是1957年,由Rosenblatt提出,是神经网络和支持向量机的基础,解决线性分类问题。感知机从输入到输出的模型如下:
对于样本x(i),y(i),如果样本正确分类,则有:
因此可定义损失函数如下:
我们需要找到超平面参数w∗,满足:
三、BP神经网络
主要目的为了解决线性不可分问题,于是采用多层感知机,如下图所示:
多层前馈网络的反向传播 (BP)学习算法,简称BP算法,是有导师的学习,它是梯度下降法在多层前馈网中的应用。网络结构:见图,u、y是网络的输入、输出向量,神经元用节点表
示,网络由输入层、隐层和输出层节点组成,隐层可一层,也可多层(图中是单隐层),前层至后层节点通过权联接。由于用BP学习算法,所以常称BP神经网络 。
具体的误差传播算法推导不作详细赘述。
总结
以上就是今天要讲的内容,总结了前三节ppt。