神经网络与深度学习第一次学习总结

第一章 概述

1.1 什么是人工神经网络

人工智能定义：用机器去 实现所有目前必须借助人类智慧才能实现的任务。其 具体研究、开发用于模拟、延伸和扩展人的智能的理 论、方法、技术及应用系统。

人工智能是一个概念性而非形式化定义，包含多种方法论

机器学习是人工智能的一个重要分支，是实现智能化的关键

大数据问题：从实际的需求来看，随着数据采集和计算机能力的增加，积累了大量的数据， 而且绝大部分是非结构化（语义不清楚、稀疏）数据。先前的机器学习方法收效甚微。

1.2 神经网络与深度学习发展回顾

发展历史

创始： 1943年，McCulloch和W.Pitts，提出NN数学模型；1949年， Hebb规则

初步发展： 1958年，Rosenblatt 感知机和联想学习；1960年，Widrow和Hoff ADALINE学习算法

停滞期： 1969年 Minsky “Perceptron” XOR问题

复兴期(二十世纪八、九十年代)： 1982 Hopfield解决TSP问题；1986 Rumelhart和McClelland BP；新型神经网络提出，如RBFN, Hopfield网络，Boltzmann机等

爆发期(2006~2021年)： 2006年：Hinton提出深度学习；应用的爆发式发展：语音识别：微软，2011；ImageNet: Google, 2011-； AlphaGo: DeepMind, 2016

通用人工智能(2021起)：以ChatGPT 3.5为标志

1.3 神经网络与深度学习应用

应用趋势：深度学习是第三次崛起的核心技术。

人工智能发展的6大关键技术：计算机视觉；自然语言处理；机器人；机器学习；图像识别；语音识别

第二章 线性分类与感知机

2.1 线性回归

定义：利用数理统计中回归分析，来确定两种或两种以上变量间相 互依赖的定量关系的一种统计分析方法。

2.2 线性二分类问题

定义：线性分类器则透过特征的线性组合来做出分类决定，以达到 此种目的。

线性分类与线性回归差别：输出意义不同；参数意义不同；维度不同。

梯度下降法

2.3 对数回归与多分类回归

指数回归与多分类回归

2.4 神经元模型

神经元模型：生物神经网络，生物神经元

作用函数：非对称型函数、对称型函数、对称型阶跃函数

2.5 感知机模型

感知机(Perceptron)是1957年，由Rosenblatt提出，是神经网络和支 持向量机的基础。

感知机从输入到输出的模型如下： 𝑦 = 𝑓 𝑥 = 𝑠𝑖𝑔𝑛(𝐰T𝐱)

损失函数、超平面参数