深度学习
文章平均质量分 69
该专栏为作者自学深度学习一书的笔记与感悟,有错误希望大家指出!
Striver SkyTu
努力努力再努力!
展开
-
PCA主成分分析法
一、内容:PCA是一个简单的机器学习算法,用于对高维数据的有损降维,假设在Rn 空间中有m个点{x{1},x{3},…,x{m}},如若我们希望将这些点去进行有损压缩,使之变为一种低维的表示,对于每个点x{i}∈Rl。如果l比n小,那么我们便使用了更少的内存来存储原来的数据。因此希望找到一个编码函数,根据输入找到编码,即f(x) = c;同理找到一个解码函数,给定编码重构输入,x≈g(f(x))【可以理解成有n个特征项的数据集中有m条数据,由于数据集中特征项较多,而有些特征项与预测目标的相关性不大,原创 2021-01-30 18:35:02 · 155 阅读 · 0 评论 -
RNN(Recurrent Neural Network)循环神经网络学习笔记
1.什么是序列数据(1)例如股票中的走势,涨跌数据:(2)视频中连续图像:(3)文本序列:2.什么是循环神经网络:循环神经网络:隐藏层的节点之间有连接,是主要用于对序列数据进行分类,预测等处理的神经网络。 RNN序列处理基本RNN计算过程其中激活函数tanh是为了对括号内计算得到的数值进行规范化,如希望规范化至(-1,1)之间,则使用tanh函数。...原创 2019-11-22 18:12:26 · 465 阅读 · 0 评论 -
深度学习关于数值计算的学习笔记
1、上溢和下溢由于计算机是用有限数量的位模式表现无限多可能的实数,所以计算机表示实数会带有一定的误差(特别是浮点数的运算)。因此多次计算中不断地产生的误差累加起来可能会导致算法的失效(1) 下溢:由于数值精度不够导致接近零的数被四舍五入或截断为零(在某些算法中会直接导致算法失效,例如除数上有0,或者对数取0等,使得算数运算变为非数字。)(2)上溢:由于某种数据类型的数值精度不够,在记录一些超...转载 2019-11-20 18:16:51 · 312 阅读 · 0 评论 -
正则化学习笔记
一、正则化概念1.正则化是广泛应用于机器学习和深度学习中的技术,它可以改善过拟合,降低结构风险,提高模型的泛化能力,有必要深入理解正则化技术。2.正则化是在经验风险项后面加上正则罚项,使得通过最小化经验风险求解模型参数转变为通过最小化结构风险求解模型参数,进而选择经验风险小并且简单的模型。(1)经验风险:机器学习模型关于训练数据集的平均损失称为经验风险。度量平均意义下模型预测效果的好坏。...原创 2019-11-01 22:32:10 · 242 阅读 · 0 评论 -
交叉熵学习笔记
一、信息熵 (information entropy)一条信息的信息量大小和它的不确定性有直接的关系。我们需要搞清楚一件非常非常不确定的事,或者是我们一无所知的事,就需要了解大量的信息。相反,如果我们对某件事已经有了较多的了解,我们就不需要太多的信息就能把它搞清楚。所以,从这个角度,我们可以认为,信息量的度量就等于不确定性的多少。比如,有人说广东下雪了。对于这句话,我们是十分不确定的。因为广东...转载 2019-11-20 10:59:27 · 354 阅读 · 0 评论