【20200506】数据挖掘DM课程课业打卡九之人工神经网络 Artificial Neural Networks -ANN
叮嘟!这里是小啊呜的学习课程资料整理。好记性不如烂笔头,今天也是努力进步的一天。一起加油进阶吧!
一、课业打卡八之支持向量机
填空题
1、在神经元细胞中,___是接受从其它神经元传入的信息的入口。
正确答案: 树突
2、在神经元细胞中,___ 是把神经元兴奋的信息传出到其它神经元的出口。
正确答案:轴突
3、感知器模型的输出可以用此公式计算:Y=sign(0.3x1+0.3x2+0.3x3-0.4)。若输入x1= 1,x2= 0,x3= 1,输出 Y=___。
正确答案:1
4、多层人工神经网络包括:___ 层、___ 层、___ 层。
正确答案:
输入;隐藏;输出
5、梯度下降算法中,当学习率设置得过___时,收敛过程将变得十分缓慢。
正确答案:小
6、梯度下降算法中,当学习率设置的过 ___时,梯度可能会在最小值附近来回震荡,甚至可能无法收敛
正确答案:大
7、logistic回归问题中的损失函数L(a,y)=-(yln(a)+(1-y)ln(1-a)),说明:a为样本类别为1的概率估计,y为样本的真实类别。当y=0,损失函数的单调性是 ___。
A.单调递增 B.单调递减 C 非单调
正确答案:A
8、logistic回归问题中的损失函数L(a,y)=-(yln(a)+(1-y)ln(1-a)),说明:a为样本类别为1的概率估计,y为样本的真实类别。当y=1,损失函数的单调性是 ___。
A.单调递增 B.单调递减 C 非单调
正确答案: B
二、知识点巩固
1、关于人工神经网络
神经元是由**细胞体,树突和轴突**三部分组成。
树突是接受从其它神经元传入的信息的**入口**。
轴突是把神经元兴奋的信息传出到其它神经元的**出口**。
从神经元的特性和功能可以知道,神经元是一个多输入单输出的信息处理单元,而且,它对信息的处理是非线性
的。
根据神经元的特性和功能,可以把神经元抽象为一个简单的数学模型。
当神经元接受来自其它神经元的信息时,膜电位在开始时是按时间连续渐渐变化的
。
当膜电位变化经超出一个定值时,才产生突变上升的脉冲,这个脉冲接着沿轴突进行传递。神经元这种膜电位高达一定阀值才产生脉冲传送的特性称阀值特性
。
2、人工神经网络——感知器
感知器模型的输出可以用此公式计算:
当三个输入中至少有两个为1,输出Y 为1:
3、多层人工神经网络
多层人工神经网络包括: 输入层、隐藏层、输出层
4、人工神经网络中的激活函数
线性函数
S 型函数(Sigmoid函数) 【最常用】
双曲正切函数
符号函数 【最基本】
5、人工神经网络中的激活函数之线性整流函数(Rectified Linear Unit, ReLU)
线性整流函数(Rectified Linear Unit, ReLU)
称修正线性单元
,是一种人工神经网络中常用的激活函数(activation function),通常指代以斜坡函数及其变种为代表的非线性函数。
6、Logistic回归
logistic回归问题是构造一个只含有输入层和输出层的神经网络
,其结构图如下:
(1)分类问题的一般描述:
– 用X代表输入空间,是输入向量的所有可能取值的集合,也叫特征空间;Y代表输出空间,是输出的所有可能取值的集合。
– x(i)∈X代表特征空间的一个样本,y(i)∈Y代表其类别(标签)。
– 分类问题的一般描述可总结为:利用已知标签的训练集X train 训练出一个模型,该模型包含一个映射关系h:X→Y,h应该能够对新的数据点x (m+1) 预测其类别y (m+1) ,并使得预测结果的正确率尽可能
高。
(2)• Logistic回归问题的描述:
– 以二分类问题为例,用0和1代表可能的类别Y={0,1}。
(3)损失函数(Loss function)的选取:
7、Logistic回归之梯度下降法(Gradient Decent)
梯度下降法(Gradient Decent):
先随机在曲面上找一个点,然后求出该点的梯度,然后顺着这个梯度的方向往下走一步,到达一个新的点之后,重复以上步骤,直到到达最低点。(或达到迭代终止条件)
如,对w进行梯度下降,则就是重复以下步骤:
w := w - α(dJ/dw)
– 其中α代表学习率
– dJ/dw就是J对w求偏导
– 当学习率设置得过**小**时,收敛过程将变得十分缓慢。
– 当学习率设置的过**大**时,梯度可能会在最小值附近来回震荡,甚至可能无法收敛。
8、 Logistic回归之梯度(导数)计算推导——对单个样本
9、 Logistic回归之梯度(导数)计算推导——对m个样本集合
10、 Logistic回归之梯度(导数)计算——对m个样本集合的向量化
11、导数公式
Ending!
更多课程知识学习记录随后再来吧!
就酱,嘎啦!
注:
求知若渴,虚心若愚。