机器学习
BieberChen
这个作者很懒,什么都没留下…
展开
-
线性判别分析LDA原理
线性判别分析LDA原理线性判别分析LDA(Linear Discriminant Analysis)又称为Fisher线性判别,是一种监督学习的降维技术,也就是说它的数据集的每个样本都是有类别输出的,这点与PCA(无监督学习)不同。LDA在模式识别领域(比如人脸识别,舰艇识别等图形图像识别领域)中有非常广泛的应用,因此我们有必要了解下它的算法原理。1. LDA的思想LDA的思想是: 最大化类...原创 2019-08-14 09:21:47 · 466 阅读 · 0 评论 -
SVD奇异值分解逐步推导
SVD奇异值分解逐步推导1. 回顾特征值和特征向量首先回顾下特征值和特征向量的定义:Ax=λxAx=\lambda xAx=λx其中,A是一个n×nn\times nn×n的矩阵,xxx是一个nnn维向量,则λ\lambdaλ是矩阵A的一个特征值,而xxx是矩阵A的特征值λ\lambdaλ对应的特征向量。求出特征值和特征向量有什么好处呢?就是我们可以将矩阵A特征分解。如果我们求出了矩阵...原创 2019-08-11 01:55:45 · 403 阅读 · 0 评论 -
反向传播算法推导过程(非常详细)
1. 前向传播假设XXX为N×mN\times mN×m的矩阵(其中,NNN为样本个数(batch size),mmm为特征维数)h1h_1h1与Z1Z_1Z1的维数为m1→W1m_1 \rightarrow W_1m1→W1为m×m1m\times m_1m×m1的矩阵,b1∈Rm1,b_1 \in \mathbb{R}^{m_1},b1∈Rm1,h2h_2h2与Z2Z_...原创 2019-08-25 00:53:13 · 8850 阅读 · 3 评论 -
深度学习总的正则化、半监督学习、多任务学习以及Bagging
正则化的定义为"对学习算法的修改–旨在减少泛化误差而非训练误差"。正则化的策略包括参数范数惩罚、约束范数惩罚、提前终止以及Dropout等等。一、参数范数惩罚参数惩罚是指在目标函数JJJ中添加一个参数范数惩罚Ω(θ)\Omega(\theta)Ω(θ),限制模型的学习能力:J~(θ;X,y)=J(θ;X,y)+αΩ(θ)\tilde{J}(\theta;X, y)=J(\theta; X, ...原创 2019-08-29 23:00:31 · 1090 阅读 · 0 评论