《神经网络与深度学习》第三章学习笔记

3.1分类问题示例

1、图像分类

数据集:ImageNet

权重向量×Xi+偏置=得分,哪个类别得分高就分为哪类

2、垃圾邮件过滤

3、文档归类:运动类、科技类、时尚类

4、情感分类:消极、中立、积极

5、文本分类建模:将样本x从文本形式转为向量形式。词袋模型

3.2、线性分类模型

1、线性模型做分类:线性函数外面套一个离散函数

2、二分类问题

0-1损失函数

3、多分类问题

y的标签类别数大于2

argmax分类方式:优点就是消除了模糊区域

线性模型:Logistic回归、Softmax回归、感知器、支持向量机;区别就是所用的损失函数不一样,所以训练出来的模型不一样。

3.3交叉熵与对数似然

1、信息

2、熵

熵用来衡量一个随机事件的不确定性。熵越高,则随机变量的信息越多;熵越低,则随机变量的信息越少。

自信息:

熵:随机变量X的自信息的数学期望。分布越均衡,熵越大。

熵编码:在对分布p(y)的符号进行编码时,熵H(p)也是理论上最优的平均编码长度,这种编码方式称为熵编码。

3、交叉熵

p=q,则交叉熵变为熵;交叉熵越大,表名p与q差异越大

4、KL散度

p=q,则KL散度为0;p与q差异越大,KL散度越大。

3.4、Logistic回归

也称为对数几率回归,简称对率回归

将分类问题看作条件概率估计问题

1、Logistic函数

2、参数的学习

梯度下降方法:

3.5、Softmax回归

1、多分类问题,可以转为多个二分类问题。学习准则:转换为条件概率建模pθ(y=c|x)

2、Softmax函数:

3、参数学习

3.6、感知器(机)

1、

2、学习算法

发生错误,调整参数,使得ywx大于0.

根据感知器的学习策略,可以反推出感知器的损失函数为:

3、感知器收敛性

3.7、支持向量机(SVM)

1、间隔:决策边界到分类样本的最短距离。支持向量机优化准则:选择间隔最大的决策边界

2、

找到间隔最大的超平面

3、软间隔

在支持向量机的优化问题中,如果训练集中的样本不是线性可分的,就无法找到最优解。为了能够容忍部分不满足约束的样本,可以引入松弛变量。

3.8、线性分类模型小结

1、不同损失函数的对比

平方损失不适合做分类任务

Hinge损失直觉上会带来更好的效果

2、线性分类模型小结

3、XOR问题(异或问题)

感知器无法解决异或问题

  • 10
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值