- 博客(7)
- 收藏
- 关注
转载 【转】主成分分析(PCA)原理解析
在这一篇之前的内容是《Factor Analysis》,由于非常理论,打算学完整个课程后再写。在写这篇之前,我阅读了PCA、SVD和LDA。这几个模型相近,却都有自己的特点。本篇打算先介绍PCA,至于他们之间的关系,只能是边学边体会了。PCA以前也叫做Principal factor analysis。
2017-02-26 21:01:03 2936
转载 【转】常见向量范数和矩阵范数
1、向量范数1-范数:,即向量元素绝对值之和,matlab调用函数norm(x, 1) 。2-范数:,Euclid范数(欧几里得范数,常用计算向量长度),即向量元素绝对值的平方和再开方,matlab调用函数norm(x, 2)。∞-范数:,即所有向量元素绝对值中的最大值,matlab调用函数norm(x, inf)。-∞-范数:,即所有向量元素绝对值中的最小值,matlab调用函数norm
2017-02-25 20:47:15 726
原创 矩阵理论基础知识(2)--常见的几种矩阵分解方式
本篇主要介绍和讨论了矩阵的几种常见分解方式,包括:LU分解,UR/QR分解以及特征值分解,另外由于SVD分解较为复杂,将另起一篇单独介绍。
2017-02-25 19:51:32 10049
原创 矩阵理论基础知识(1)--特征值与特征向量
之所以想起来总结这部分的知识,也是由于目前学习的机器学习算法中,矩阵论/矩阵你分析呈刷屏似的出现,而之前本科阶段的高等代数中,总是只知道有这么个东西,也初略知道怎么计算,但不知道其中的真正含义,因此这两天决定将这块知识汇总下,知其然也知其所以然。
2017-02-24 14:00:18 7640
转载 【转】奇异值分解(SVD)原理详解及推导
在网上看到有很多文章介绍SVD的,讲的也都不错,但是感觉还是有需要补充的,特别是关于矩阵和映射之间的对应关系。前段时间看了国外的一篇文章,叫A Singularly Valuable Decomposition The SVD of a Matrix,觉得分析的特别好,把矩阵和空间关系对应了起来。本文就参考了该文并结合矩阵的相关知识把SVD原理梳理一下。
2017-02-23 16:28:49 895
原创 周志华《Machine Learning》学习拓展知识--经验风险与结构风险
在前面几章的笔记中,都出现了“正则化”这个看似神秘的东西,具体包括:(1)线性模型的最小二乘法中出现非满秩或正定矩阵的情形,从而引入正则化解决了求逆矩阵的难题;(2)BP神经网络为了避免过拟合而引入的正则项;(3)“软间隔”支持向量机在优化目标中添加的正则项或惩罚项。下面将主要围绕这三个方面来阐述经验风险与结构风险。
2017-02-13 15:57:35 1589
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人