机器学习神经网络

概述

□发展历程
■神经网络是20世纪80年代以来人工智能领域兴起的 研究热点
■神经网络的发展也经历了沉寂期和繁荣期
■自2010年随着深度学习作为人工智能技术的重要应 用技术，其□理论神经网络也成为人工智能课程的重 要学习内容
神经网络作为一种重要的数据挖掘方法，已在医学 诊断、信用卡欺诈识别、手写数字识别以及发动机 的故障诊断等领域得到了广泛的应用
重点介绍神经网络的概念和基本原理，为以后深度 学习打下基础
□神经网络与机器学习，人工智能的关系
□线性回归和逻辑回归模型可以作为神经网络的”组 件

逻辑回归

□ 2. 1线性回归
□ 2. 2逻辑回归
口在线性回归中，预测目标y是连续型，模型如下

■目标函数
最小二乘法
目标函数
•最小化残差平方和RSS=« argmin(y - WTX)T (y - WTX) w
■最小二乘法
w = (XTX)_1XTy
•存在问题通过最小二乘法可以获得参数的解析解
•然而解析解存在的前提是： 矩阵XTX可逆：满秩或为正定矩阵
•当矩阵不可逆时，最小二乘法无法给出解析解
■另外一种求最优解方法：梯度下降

梯度下降(gradient descent)

■也是一种寻找目标函数最小化的方法
求使目标函数值最小的W的值

梯度:多变量偏导构成的向量
公式意义:J是关于@的一个函数，0为初始点，要从这个点走到J的最小值点，也就是山底。首先确定前进的方向，也就是梯度的反向，然后走一段距离的步长，也就是a，走完这个段步长，就到达了l这个点!

■a称作为学习率或者步长:控制每一步走的距离
■梯度要乘以一个负号:梯度的方向实际就是函数在

8.2.2逻辑回归

应用最为广泛的模型之一

假设要解决的是二分类问题，也就是预测目标y为离散型,线性回归无法解决该问题

Logistic函 数是S形函数，又称为Si gmoid函数

在线性加和的基础上，叠加Logistic函数，增加非线性映射。

逻辑回归中逻辑函数σ()，将任意实数映射到(0, 1)之间
因y;∈{1,-1}，逻辑回归模型可统- -表示为

与线性回归比较
极大似然估计:样本结果信息已知，反推最大概率导致这些样本结果的模型参数值
设训练集为D= ((x)1)2.,…,(…n}， 利用极大似然法估计逻辑回归模型的的参数w.
目标函数:负对数似然函数


使用梯度下降法求目标函数的最小值，设目标函数对于模型的梯度为: VNLL(w)
初始化参数后，梯度下降法使用以下迭代公式更新
w←. w - ηVNLL(w)



人类大脑神经元
1 人脑由百亿条神经组成
2 神经元对接收的能量进行累加
3 当这个累加的总和达到某个临界阈值时将能量发送给其他神经
4 大脑通过调节神经连接数目和强度进行学习
抽象人脑神经元网络，即人工神经网络模型
由节点(“神经元”)和之间的相互联接构成
逻辑回归模型可以看做是单层的神经网络，激活函

神经元接收其他神经元传入的信号
信号通过带有权重的连接传递
输入总信号与阈值比较，通过激活函数，产生输出

由输入层和输出层组成:神经网络雏形;
感知机模型

多层前馈神经网络
将多个感知机组合成多层感知机模型
在输入层和输出层之间加入多层(>=1)隐含层神经

多层前馈神经网络
神经元之间不存在同层连接也不存在跨层连接，即网络就能以任意精度逼近任意复杂度的连续函数