【20200506】数据挖掘DM课程课业打卡九之人工神经网络 Artificial Neural Networks (ANN)

叮嘟！这里是小啊呜的学习课程资料整理。好记性不如烂笔头，今天也是努力进步的一天。一起加油进阶吧！

一、课业打卡八之支持向量机

填空题

1、在神经元细胞中，___是接受从其它神经元传入的信息的入口。

正确答案：  树突

2、在神经元细胞中，___ 是把神经元兴奋的信息传出到其它神经元的出口。

正确答案：轴突

3、感知器模型的输出可以用此公式计算：Y=sign(0.3x1+0.3x2+0.3x3-0.4)。若输入x1= 1，x2= 0，x3= 1，输出 Ｙ＝___。

正确答案：1

4、多层人工神经网络包括：___ 层、___ 层、___ 层。

正确答案：
            输入；隐藏；输出

5、梯度下降算法中，当学习率设置得过___时，收敛过程将变得十分缓慢。

正确答案：小

6、梯度下降算法中，当学习率设置的过 ___时，梯度可能会在最小值附近来回震荡，甚至可能无法收敛

正确答案：大

7、logistic回归问题中的损失函数L(a,y)=-(yln(a)+(1-y)ln(1-a))，说明：a为样本类别为1的概率估计，y为样本的真实类别。当y=0，损失函数的单调性是 ___。
Ａ．单调递增　　　Ｂ．单调递减　　　Ｃ　非单调

正确答案：A

8、logistic回归问题中的损失函数L(a,y)=-(yln(a)+(1-y)ln(1-a))，说明：a为样本类别为1的概率估计，y为样本的真实类别。当y=1，损失函数的单调性是 ___。

Ａ．单调递增　　　Ｂ．单调递减　　　Ｃ　非单调

正确答案： B

二、知识点巩固

1、关于人工神经网络

神经元是由**细胞体，树突和轴突**三部分组成。

树突是接受从其它神经元传入的信息的**入口**。
轴突是把神经元兴奋的信息传出到其它神经元的**出口**。

从神经元的特性和功能可以知道，神经元是一个多输入单输出的信息处理单元，而且，它对信息的处理是非线性的。
根据神经元的特性和功能，可以把神经元抽象为一个简单的数学模型。

当神经元接受来自其它神经元的信息时，膜电位在开始时是按时间连续渐渐变化的。
当膜电位变化经超出一个定值时，才产生突变上升的脉冲，这个脉冲接着沿轴突进行传递。神经元这种膜电位高达一定阀值才产生脉冲传送的特性称阀值特性。

2、人工神经网络——感知器

感知器模型的输出可以用此公式计算：

当三个输入中至少有两个为1，输出Y 为1：

3、多层人工神经网络

多层人工神经网络包括： 输入层、隐藏层、输出层

4、人工神经网络中的激活函数

线性函数
S 型函数（Sigmoid函数）    【最常用】
双曲正切函数 
符号函数                  【最基本】

5、人工神经网络中的激活函数之线性整流函数（Rectified Linear Unit, ReLU）

线性整流函数（Rectified Linear Unit, ReLU）
称修正线性单元，是一种人工神经网络中常用的激活函数（activation function），通常指代以斜坡函数及其变种为代表的非线性函数。

6、Logistic回归

logistic回归问题是构造一个只含有输入层和输出层的神经网络，其结构图如下：

（1）分类问题的一般描述：

– 用X代表输入空间，是输入向量的所有可能取值的集合，也叫特征空间；Y代表输出空间，是输出的所有可能取值的集合。

– x(i)∈X代表特征空间的一个样本，y(i)∈Y代表其类别（标签）。

– 分类问题的一般描述可总结为：利用已知标签的训练集X train 训练出一个模型，该模型包含一个映射关系h:X→Y，h应该能够对新的数据点x (m+1) 预测其类别y (m+1) ，并使得预测结果的正确率尽可能
高。

（2）• Logistic回归问题的描述：
– 以二分类问题为例，用0和1代表可能的类别Y={0,1}。

（3）损失函数（Loss function）的选取：

7、Logistic回归之梯度下降法（Gradient Decent）

梯度下降法（Gradient Decent）：
先随机在曲面上找一个点，然后求出该点的梯度，然后顺着这个梯度的方向往下走一步，到达一个新的点之后，重复以上步骤，直到到达最低点。（或达到迭代终止条件）

如，对w进行梯度下降，则就是重复以下步骤：

 w := w - α(dJ/dw)  

– 其中α代表学习率
– dJ/dw就是J对w求偏导

– 当学习率设置得过**小**时，收敛过程将变得十分缓慢。

– 当学习率设置的过**大**时，梯度可能会在最小值附近来回震荡，甚至可能无法收敛。

8、 Logistic回归之梯度（导数）计算推导——对单个样本

9、 Logistic回归之梯度（导数）计算推导——对m个样本集合

10、 Logistic回归之梯度（导数）计算——对m个样本集合的向量化

11、导数公式

Ending！
更多课程知识学习记录随后再来吧！

就酱，嘎啦！

注：
求知若渴，虚心若愚。