机器学习基础
pp菌
这个作者很懒,什么都没留下…
展开
-
协方差矩阵的几何解释和多重高斯分布
协方差矩阵的几何解释和多重高斯分布这篇文章,总结之前阅读的这篇文章学到的知识点,即协方差矩阵的几何意义,同时利用几何解释,介绍多重高斯分布如何从标准单变量的高斯分布推导出来。主要涉及如下内容:协方差矩阵的定义协方差矩阵所体现的数据分布的几何意义多重高斯分布的推导协方差矩阵的定义协方差矩阵一般出现在多重高斯分布的表达式中:(1)p(x;μ,Σ)=1(2π)n2∣Σ∣12exp(−...原创 2019-04-25 22:40:12 · 3891 阅读 · 1 评论 -
共轭梯度
共轭梯度标签(空格分隔): 数值优化 线性代数这篇文章最早是在作业部落写的,但是没什么人访问,所以这里补录一下本文介绍和总结共轭梯度(conjugate gradient)算法的如下内容:共轭梯度算法的背景和由来梯度算法的几何理解和共轭梯度算法的流程基于SSOR预条件子的共轭梯度算法非线性共轭梯度算法背景共轭梯度算法的由来,源于求解如下所示的二次型问题:KaTeX par...原创 2019-04-25 22:45:48 · 709 阅读 · 0 评论 -
利用SVD进行图像压缩
利用SVD进行图像压缩前边一篇文章中,总结了SVD相关的理论支持,老是一味的搞理论没有实践毕竟也是不行的,所以本文会简单的实现一个基于Python的图像压缩示例程序,来使用SVD进行简单图片的压缩以及还原实验。首先来看代码,完整的代码如下:# -*- coding: utf-8 -*-import argparseimport osimport cv2import numpy a...原创 2019-04-25 22:56:12 · 1897 阅读 · 0 评论 -
使用梯度下降求解最小二乘
使用梯度下降求解最小二乘简介在前一篇的总结中,从矩阵的视角回顾了最小二乘,最终还得到了如下求解最小二乘的解的方程:(1)x=(WTW)−1WTyx = (W^{T}W)^{-1}W^{T}y \tag{1}x=(WTW)−1WTy(1)这个方程本身没有什么问题,只不过也有其局限性,当数据量很大的时候,WWW也会很大,求解WTWW^{T}WWTW本质上是一个不太现实的事情。如果只有1000...原创 2019-04-25 22:57:35 · 1430 阅读 · 1 评论