sanctuary03的博客

本博客主要用于本人重新复习知识点，所有参考列在文尾。如有错误，希望一起交流。目录基础知识1. 单词向量空间2. 话题向量空间基本想法模型单词空间 ==> 话题空间3. 潜在语义分析文本用话题向量空间表示文本相似度4. 基于奇异值分解的潜在语义分析5. 基于非负矩阵分解的潜在语义分析非负矩阵求解的形式化应用Python 实现参考基础知识潜在语义分析(latent semantic analysis, LSA) 是一种无监督学习。用处：文本话题分析特点：通过矩阵分解发现文本与单词之间的基于.

本博客主要用于本人重新复习知识点，所有参考列在文尾。如有错误，希望一起交流。PCA在做什么？数据存在很多特征，但很多特征之间是有冗余的，所以我们可以通过更少的主成分去总结数据。PCA并不是在挑选特征，而是由旧特征构建新特征 (寻找最佳的线性组合)。何为总结数据 ？尽可能体现数据的差异(最大方差，方差：原数据在投影线上的红点的散步，通过每个红点到数据中心的均方根距离来衡量红点的散布)，尽可能好地重建原本特性的特征(最小误差，误差：原数据投影在投影线上的均方根距离)。这两者可以同时到达(勾股定理)。.

本博客主要用于本人重新复习知识点，所有参考列在文尾。如有错误，希望一起交流。目录基础知识1. 奇异值分解2. 奇异值分解基本定理3. 紧奇异值分解4. 截断奇异值分解5. 几何解释（线性变换的角度）6. 主要性质7. 奇异值分解的计算8. 矩阵的最优近似应用Python 实现参考基础知识1. 奇异值分解矩阵的 (完全) 奇异值分解： A=UΣVTA = U \Sigma V^TA=UΣVT其中 AAA 为 m×nm \times nm×n 实矩阵；UUU 和 VVV 为正交矩阵；Σ\Sigma.

k-means 聚类是基于样本集合划分的聚类算法。属于硬聚类。具体：将样本集合划分为k个子集，构成k个类，每个样本到其所属的类中心的距离最小。模型k-means 聚类的目标：将n个样本分到k个不同的类或者簇中，假设k<nk<nk<n.k-means 聚类的模型是一个从样本到类的函数：l=C(i)l=C(i)l=C(i)，其中 iii 表示每一个样本(共n个)，lll 表示每一个类别(共k个)。策略k-means 聚类的策略：通过损失函数的最小化选取最优的划分或函数 C∗

本博客主要用于本人重新复习知识点，所有参考列在文尾。如有错误，希望一起交流。层次聚类假设类别之间存在层次结构，将样本聚到层次化的类中。属于硬聚类层次聚类聚合聚类（自下而上聚类）（agglomerative）分裂聚类（自上而下聚类）（divisive）（本博客不涉及）聚合聚类具体过程：对于给定的样本集合，开始将每个样本分到一个类 ==> 按照一定的规则，例如类间距离最小，将最满足规则条件的两个类进行合并 ==> 如此反复，每次减少一个类，直到满足停止条件，如所有样本聚为一类。.