白铁时代 —— （无监督学习）原理推导

人生简洁之道

已于 2022-05-01 14:24:54 修改

阅读量640

点赞数

分类专栏： 2020年 - 面试笔记文章标签：学习聚类机器学习

于 2020-10-17 19:02:51 首次发布

Adress：CSDN - Life Recoder. PS: 爬虫、网站、公众号等侵权的当个人吧！乱写的笔记 1秒钟成了你的原创？

本文链接：https://blog.csdn.net/BeBuBu/article/details/106277641

版权

2020年 - 面试笔记专栏收录该内容

8 篇文章 1 订阅

订阅专栏

文章目录

介绍
聚类
降维
*概率估计 TODO Page321后面

介绍

样本为无标注模型，模型是z=g(x) 或者P(x|z)或者P(z|x)
输出z是类别、转换或者概率
无监督问题比监督问题难在数据没有标注没有人的先验知识，需要找到观测数据x中的隐藏规律，找到输出变量！
无监督学习的基本思想：将数据以损失最小的方式进行压缩，认为压缩后的数据就是模型更加本质的结构！具体可以有：
① 纵向压缩，将相似样本聚到同类，即聚类
② 横向压缩，将高维的特征向量(或输入向量)转换到低维空间，即降维
③ 横纵向压缩，假设观测样本由含有隐式结构的概率模型生成，从数据中学习概率模型！

聚类

聚类按照是否只能属于一类，分为硬聚类的软聚类，前者是函数，后者是条件概率
可以用于监督学习的前处理
核心：相似性度量，发现类或簇

相似性度量

距离越小，样本之间越相似
闵可夫斯基距离： $d_{i, j}=\left(\sum_{k=1}^{m}\left|x_{k i}-x_{k j}\right|^{p}\right)^{\frac{1}{p}}$ ；其中：p = 1, 曼哈顿距离；p = 1, 欧氏距离；p = ∞, 切比雪夫距离(max(.,.))；
马哈拉诺比斯(马氏距离)： $d_{i j}=\left[\left(x_{i}-x_{j}\right)^{T} S^{-1}\left(x_{i}-x_{j}\right)\right]^{\frac{1}{2}}$ ，当S矩阵为单位矩阵，即欧氏距离；
相关系数： $\rho_{X, Y}=\frac{\operatorname{cov}(X, Y)}{\sigma_{X} \sigma_{Y}}=\frac{E\left(\left(X-\mu_{X}\right)\left(Y-\mu_{Y}\right)\right)}{\sigma_{X} \sigma_{Y}}$
余弦距离： $s_{ij}=1-\frac{\vec{x} * \vec{y}}{\|\vec{x}\| *\|\vec{y}\|}=1 - \frac{\sum_{i=1}^{n} x_{i} * y_{i}}{\sqrt{\sum_{i=1}^{n} w_{i}^{2}} * \sqrt{\sum_{i=1}^{2} y_{i}^{2}}}$

类/簇

类的四个定义 TODO
本节只考虑硬聚类方法
类的均值
类的直径：任意样本距离之间的最大值
类的散布矩阵Scatter Matrix： $\mathbf{S}=\sum_{j=1}^{n}\left(\mathbf{x}_{j}-\overline{\mathbf{x}}\right)\left(\mathbf{x}_{j}-\overline{\mathbf{x}}\right)^{T}$
样本的协方差矩阵Covariance Matrix: $\mathbf{Q}=\frac{1}{n-1} \sum_{i=1}^{n}\left(x_{i}-\bar{x}\right)\left(x_{i}-\bar{x}\right)^{\mathrm{T}}$
类之间的距离：
① single linkage: 最短距离，两个类之间的样本的最短距离
② complete linkage：最长距离，两个类之间的样本最长距离
③ 中心距离：顾名思义，两个类中心点的距离
④ 平均距离：两个类之间的任意样本距离的均值

层次聚类

假设：类别之间有层次结构
属于硬距离
分为自下而上（聚合）和自上而下（分裂），得到层次化的类别
以聚合层次聚类为例，三要素：相似性度量(马氏距离等)+合并规则(类间距离)+停止条件(类的个数或者类的直径达到要求)
流程：①计算样本两两之间的距离②初始化样本个数个类别③合并类间距离最小的类成新类④计算新类到其余类的距离⑤停止条件

kmeans聚类

基于中心的聚类方法
硬聚类
基于样本集划分的聚类算法
将样本划分到k个类中
模型策略：求解最优化问题，
$\begin{aligned} C^{*} &=\arg \min _{C} W(C) \\ &=\arg \min _{C} \sum_{l=1}^{k} \sum_{C(i)=l}\left\|x_{i}-\bar{x}_{l}\right\|^{2} \end{aligned}$
n个样本，k个类，是个组合优化问题，有指数级别的分法：
$k)=\frac{1}{k !} \sum_{l=1}^{k}(-1)^{k-l}\left(\begin{array}{l}k \\ l\end{array}\right) k^{n}$
算法流程：采用类似EM的流程，初始化k个类的中心，将样本进行指派（欧氏距离），得到聚类结果，更新类中心，重复到均值的收敛。M步其实就是在对平方损失问题的求导，得到均值就是最优解！
算法特性：① 启发式方法收敛性差 ② 初始值敏感，可以先用层次聚类得到初始均值 ③ k的选择，选出最优k值的方法是，使用类的平均直径进行衡量，图示如下（可以用二分查找快速搜索）：
和EM的思想是类似的：k-means算法是高斯混合聚类在混合成分方差相等，且每个样本仅指派一个混合成分时候的特例。注意k-means在运行之前需要进行归一化处理，不然可能会因为样本在某些维度上过大导致距离计算失效。k-means中每个样本所属的类就可以看成是一个隐变量，在E步中，我们固定每个类的中心，通过对每一个样本选择最近的类优化目标函数，在M步，重新更新每个类的中心点，该步骤可以通过对目标函数求导实现，最终可得新的类中心就是类中样本的均值。
Kmeans和Meanshift相似是指都是一种概率密度梯度估计的方法，不过是Kmean选用的是特殊的核函数（uniform kernel），而与混合概率密度形式是否已知无关，是一种梯度求解方式。

降维

降维学习的是转换函数
可以作为监督学习的前处理过程，帮助发现高维的规律

奇异值分解

在这里插入图片描述

紧SVD和截断SVD TODO
矩阵奇异值分解可以看成其对应的线性变换分解为旋转变换+缩放变换+旋转变换

奇异值 & 矩阵近似

矩阵的F范数=矩阵的奇异值平方和
矩阵F范数对应于平方损失
所以奇异值是在平方损失下对矩阵的最佳近似，要求近似矩阵秩不超过原矩阵的秩
$\|A-X\|_{F}=\left(\sigma_{k+1}^{2}+\sigma_{k+2}^{2}+\cdots+\sigma_{n}^{2}\right)^{\frac{1}{2}}$

PCA

链接
PCA是使用正交变换将线性相关变量表示的观测数据转换为少数几个由线性无关变量表示的数据，其线性无关的变量称为主成分！
两种理解：① 最近重构性：样本点到该平面的距离足够近。要表达就要比较相似，距离近。② 最大可分性（方差）：样本点在平面上的投影尽可能分开。点与点足够区分。
以最大方差为例：样本要先去中心化！
$\begin{array}{c} \max _{\mathbf{W}} \operatorname{tr}\left(\mathbf{W}^{\mathrm{T}} \mathbf{X} \mathbf{X}^{\mathrm{T}} \mathbf{W}\right) \\ \mathbf{s . t .} \quad \mathbf{W}^{\mathrm{T}} \mathbf{W}=\mathbf{I} \end{array}$
使用拉格朗日乘子法求解问题： $L=\left\|W^{H} X\right\|_{F}^{2}+\lambda\left(\|W\|_{F}^{2}-I\right)$
求导得到： $X^{T} W=\lambda W$
即 $X X^{T}$ 散度矩阵的特征向量构成 $W$
补充，也等于如下的最优化问题：
$\begin{array}{ll} \min _{L} & \|X-L\|_{F} \\ \text { s.t. } & \operatorname{rank}(L) \leqslant k \end{array}$
最小重构误差：
$\underset{w_{1}, \ldots, w_{d}}{\arg \min } \sum_{k=1}^{n}\left\|x_{k}-\tilde{x}_{k}\right\|_{2}^{2} \\ \text { s.t. } w_{i}^{T} w_{j}=\delta_{i j} \\ \tilde{x}_{k}=\sum_{i=1}^{d}\left(w_{i}^{T} x_{k}\right) w_{i}$
还有另外一种基于线性回归+l1范数的重构误差最小方法，可以这么理解：这种方法是线性变换空间+稀疏先验下的重构误差最小，而PCA是在正交变换空间下的重构误差最小！