一、神经网络
1、人工智能:是用机器去实现所有目前必须借助人类智慧才能实现的任务。其具体研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统。
2、机器学习是人工智能的一个重要分支,是实现智能化的关键。经典定义:利用经验来改善计算机系统的性能。(经验:在计算机系统中,即为数据(集)。主要目标:预测未知,理解系统)。
3、人工神经网络:是从微观结构与功能上模拟人脑神经系统而建立的一类模型,是模拟人的智能的一条途径。
4、人工智能第三次崛起的三大基石
二、线性回归
1、定义:利用数理统计中回归分析,来确定两种或两种以上变量间相互依赖的定量关系的一种统计方法。
2、学习过程:
三、线性二分类问题
1、定义:线性分类器则透过特征的线性组合来做出分类决定,以达到此种目的,简言之,样本通过直线(或超平面)可分。
2、梯度下降法:
四、指数回归
五、多分类回归
六、神经元模型
1、神经元模型:
2、作用函数:
(1)非对称型Sigmoid函数(Log Sigmoid)
(2)对称型Sigmoid函数(Tangent Sigmoid)
(3)对称型阶跃函数
3、Hebb规则
连接权值的调整量与输入与输出的乘积成正比:
七、感知机模型
1、感知机原理:
2、感知机模型:
八、多层感知机
1、XOR线性不可分问题:无法进行线性分类。
九、BP算法
多层前馈网络的反向传播(BP)学习算法,简称BP算法,是有导师的学习,它是梯度下降法在多层前馈网中的应用。
1、基本思想:
2、算法推导: