机器学习基础理论
syvge
CV
展开
-
(笔记杂谈一)图像风格迁移中的Gram矩阵风格监督
前言我不是做风格迁移的,但是我觉得这个很有意思,所以在matconvnet上简单实践了一把,唉,matconvnet毕竟小众,啥都要自己写Gram矩阵的计算、风格损失及反传求导公式定义n 维特征空间中有k 个特征向量 ,则它们的Gram矩阵就是由这些特征计算得来的偏心协方差矩阵(因为没有减均值),对角线元素的值则表征这些特征的强度(也就是幅值),其他元素则是特征之间的相关系数,图像的纹理特征可以看作不同底层特征之间的组合关系,所以用Gram 矩阵来衡量作为损失函数,便可以监督图像风格的迁移。下.原创 2020-05-16 01:23:19 · 1279 阅读 · 0 评论 -
机器学习相关理论恶补一:梯度下降算法(SGD、Momentum、ADAM)
常见的梯度下降算法有:全局梯度下降算法、随机梯度下降算法、小批量梯度下降算法基本表示方法为:但是梯度学习算法也会有一些问题,如学习率(即更新步长)的设定对于最终的求解效果有较大的影响,还有可能会陷入局部最优。为了解决这些问题,便有人研究一些梯度下降的优化算法:Momentum(动量)在一些比较多局部极值的函数,采用梯度下降会在这些地方进行徘徊,从而收敛速度回下降,在这中...原创 2019-12-25 21:06:14 · 810 阅读 · 0 评论 -
K聚类,fuzzy-C聚类,GMM聚类(高斯混合聚类)例程
聚类是一种数据分析方法,针对已有的数据根据挑选的特征将其分为多类,特征最相似的几种特征归为一类。俗话说的“人以类聚,物以群分”说的就是这个道理,只不过聚类将这种道理从理论的角度来进行阐释和升华,聚类可以用于分类任务中,属于机器学习中的无监督学习。这里主要根据我模式识别所做的课程作业,简单介绍K聚类,fuzzy-C聚类,以及GMM聚类。K-means 聚类方法其中K指的是聚类的数目,聚类方法的...原创 2018-07-16 18:33:00 · 2901 阅读 · 0 评论 -
主成分分析&线性判别分析(学习笔记)
主成分分析是一种线性降维方法,线性降维的另外一种方法是LDA,在这两个过程中协方差矩阵的计算是最关键的部分。核心思想:计算协方差矩阵以及其特征向量和特征值,寻找前N个最大特征值对应的特征向量,为什么这么做:协方差矩阵(散布矩阵)在模式识别中应用广泛,最典型的应用是PCA主成分分析了,PCA主要用于降维,其意义就是将样本数据从高维空间投影到低维空间中,并尽可能的在低维空间中表示原始数据。这就...原创 2018-11-28 15:57:44 · 1643 阅读 · 1 评论