sanctuary03-CSDN博客

原创统计学习方法05-17 潜在语义分析(LSA)

本博客主要用于本人重新复习知识点，所有参考列在文尾。如有错误，希望一起交流。目录基础知识1. 单词向量空间2. 话题向量空间基本想法模型单词空间 ==> 话题空间3. 潜在语义分析文本用话题向量空间表示文本相似度4. 基于奇异值分解的潜在语义分析5. 基于非负矩阵分解的潜在语义分析非负矩阵求解的形式化应用Python 实现参考基础知识潜在语义分析(latent semantic analysis, LSA) 是一种无监督学习。用处：文本话题分析特点：通过矩阵分解发现文本与单词之间的基于.

2021-03-21 10:22:25 174

原创统计学习方法04-16 PCA

本博客主要用于本人重新复习知识点，所有参考列在文尾。如有错误，希望一起交流。PCA在做什么？数据存在很多特征，但很多特征之间是有冗余的，所以我们可以通过更少的主成分去总结数据。PCA并不是在挑选特征，而是由旧特征构建新特征 (寻找最佳的线性组合)。何为总结数据？尽可能体现数据的差异(最大方差，方差：原数据在投影线上的红点的散步，通过每个红点到数据中心的均方根距离来衡量红点的散布)，尽可能好地重建原本特性的特征(最小误差，误差：原数据投影在投影线上的均方根距离)。这两者可以同时到达(勾股定理)。.

2021-03-19 23:40:48 155 1

原创统计学习方法03-15 奇异值分解 (SVD)

本博客主要用于本人重新复习知识点，所有参考列在文尾。如有错误，希望一起交流。目录基础知识1. 奇异值分解2. 奇异值分解基本定理3. 紧奇异值分解4. 截断奇异值分解5. 几何解释（线性变换的角度）6. 主要性质7. 奇异值分解的计算8. 矩阵的最优近似应用Python 实现参考基础知识1. 奇异值分解矩阵的 (完全) 奇异值分解： A=UΣVTA = U \Sigma V^TA=UΣVT其中 AAA 为 m×nm \times nm×n 实矩阵；UUU 和 VVV 为正交矩阵；Σ\Sigma.

2021-03-13 17:12:49 411

原创统计学习方法02-14.3 k-means聚类

k-means 聚类是基于样本集合划分的聚类算法。属于硬聚类。具体：将样本集合划分为k个子集，构成k个类，每个样本到其所属的类中心的距离最小。模型k-means 聚类的目标：将n个样本分到k个不同的类或者簇中，假设k<nk<nk<n.k-means 聚类的模型是一个从样本到类的函数：l=C(i)l=C(i)l=C(i)，其中 iii 表示每一个样本(共n个)，lll 表示每一个类别(共k个)。策略k-means 聚类的策略：通过损失函数的最小化选取最优的划分或函数 C∗

2021-03-12 23:44:13 590 1

原创统计学习方法01-14.2 层次聚类

本博客主要用于本人重新复习知识点，所有参考列在文尾。如有错误，希望一起交流。层次聚类假设类别之间存在层次结构，将样本聚到层次化的类中。属于硬聚类层次聚类聚合聚类（自下而上聚类）（agglomerative）分裂聚类（自上而下聚类）（divisive）（本博客不涉及）聚合聚类具体过程：对于给定的样本集合，开始将每个样本分到一个类 ==> 按照一定的规则，例如类间距离最小，将最满足规则条件的两个类进行合并 ==> 如此反复，每次减少一个类，直到满足停止条件，如所有样本聚为一类。.

2021-03-12 14:04:23 979

转载 MNIST 数据集标签图片读取

转载：https://blog.csdn.net/opipa/article/details/51882875标签注噪用到，FASHION MNIST 数据集标签文件的读取方法：import structfrom array import arraywith open("train-labels-idx1-ubyte", "rb") as f: magic, size = struct.unpack(">II", f.read(8)) labels = array("B"

2020-11-20 12:29:30 689 1

原创不平衡问题-1

文章：2020_NIPS Rethinking the Value of Labels for Improving Class-Imbalanced Learning宣传铺天盖地，首次通过半监督和自监督这两个不同的viewpoint去尝试理解和利用不平衡的数据（标签），并且验证了这两种框架均能提升类别不均衡的长尾学习问题。分别从理论和实验上验证了，对于类别不均衡的学习问题，利用半监督学习 — 也即利用更多的无标签数据；自监督学习 — 不利用任何其他数据，仅通过在现有的不平衡数据上先做一步不带标签

2020-10-24 09:14:36 912

原创个人主页

关于本地修改github仓库代码下载到本地git initgit remote add superman https://github.com/Oasis1307/academic-website.git # 地址为待下载项目的下载地址git pull --rebase superman master上传到github>> git add .>> git commit -m "author" # 引号里为修改的模块>> git push -u super

2020-09-30 10:32:38 60

原创 pandas_profiling 安装问题

要学会看报错！！！要学会看报错！！！要学会看报错！！！（重要的事说三遍)问题：pandas_profiling pip 安装成功，但是运行不了。报错：ImportError: DLL load failed: 找不到指定的程序。 (这也看不出是什么问题)原因：这次在base环境装的，base环境好久不用记忆有点错乱，装了两个scipy的包，卸载掉一个1.5的还有个1.1的。报错指路：...

2020-07-23 23:58:47 3290

原创 pytorch艰难安装路

pytorch安装@pytorch国庆买了新电脑，需要重新装pytorch，之前的电脑安装得很顺利，现在却是不论是pip install torch或者去官网找命令pip3.7 install torch==1.2.0+cpu torchvision==0.4.0+cpu -f https://download.pytorch.org/whl/torch_stable.html 都装不了，给我...

2019-10-06 14:40:26 1183 2

sanctuary03的博客