神经网络与深度学习 学习笔记（一）

〇、前言

        本系列博客的写作目的是，按周总结HIT 2023春季学期研究生课程《深度学习与神经网络》的课程内容，以便对所学知识做梳理和分享。

---

一、深度学习概述

        人工智能 (Artificial Intelligence)： 是用机器去实现所有目前必须借助人类智慧才能实现的任务。其具体研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统。在上世纪这个概念被提出之后，经历了不同分支的发展，而机器学习是人工智能的一个重要分支，是实现智能化的关键。其经典定义可被描述为：利用经验（数据集）来改善计算机系统的性能。

        但在应用和研究过程中，人们发现积累的大量数据绝大部分是非结构化（语义不清楚、稀疏）数据，机器学习方法收效甚微。于是人们开始重新思考人脑感知并处理外部模糊语义信息的过程，提出了人工神经网络（ANN）的概念。

        简而言之，神经网络是人脑的抽象、简化和模拟，应反映人脑功能的以下特征：

        1. 网络的信息处理，由神经元间的相互作用实现，具有并行处理的特点

        2. 知识与信息的存储，表现为神经元间分布式的物理联系；

        3. 网络的学习和识别，决定于神经元联接权系数的动态演化过程；

        4. 具有联想记忆特性。

        于是乎，深度学习领域便有了下图所示的发展史

二、线性分类与感知机

1.线性回归

        训练集(training set)或者训练数据(training data), 是我们流程中的输入数据，一般称为

        输出数据，一般称为

        拟合的函数（或者称为假设或者模型）：一般写做 ；

        训练数据的条目数(training set)

        构造代价（误差）函数：,目标为找到超平面参数θ ，使代价函数的值达到最小。非线性方程采用迭代方法求解。

2.感知机

        感知机(Perceptron)是1957年，由Rosenblatt提出，是神经网络和支持向量机的基础，解决线性分类问题。感知机从输入到输出的模型如下：

         对于样本x(i),y(i),如果样本正确分类，则有：

         因此可定义损失函数如下：

        我们需要找到超平面参数w∗，满足：

三、BP神经网络

        主要目的为了解决线性不可分问题，于是采用多层感知机，如下图所示：

        多层前馈网络的反向传播 （BP）学习算法，简称BP算法，是有导师的学习，它是梯度下降法在多层前馈网中的应用。网络结构：见图，u、y是网络的输入、输出向量，神经元用节点表
示，网络由输入层、隐层和输出层节点组成，隐层可一层，也可多层（图中是单隐层），前层至后层节点通过权联接。由于用BP学习算法，所以常称BP神经网络 。

        具体的误差传播算法推导不作详细赘述。       

---

总结

        以上就是今天要讲的内容，总结了前三节ppt。