enthwxq-CSDN博客

原创 0.靡不有初鲜克有终

一直在学习机器学习，发现要用到的数学实在太多，而大学教的太少，自己课外看书学的数学知识，因为做的对应练习题比较少，而经常不复习，导致知识遗忘快，所以现在开始记录博客，反思和总结。这里的东西都是自己总结的，很多包含着自己理解，很多网上都能搜到的东西以及教材里很明白写着的东西，这里都没有所以如果有人看我的博客发现错误了，那么欢迎指出错误，互相学习与交流，这里谢过读者了。要抓住主要矛盾，刚才...

2018-11-10 19:36:59 685

原创 1.24 Win10安装tensorflow-gpu，使用anaconda

转载自：https://blog.csdn.net/u012052268/article/details/82964919上面篇博客的步骤非常详细前半部分跟着上面博客在我自己的安装中，手把手的跟着到2.6 确认到环境变量后就用anaconda安装了参考的博客是下面这篇：https://blog.csdn.net/gangeqian2/article/details/793...

2019-04-09 13:28:03 274

原创 1.10 科研相关总结

在给老师汇报看的第一篇论文时，汇报了自己从细节开始看起，推导一步步的梳理。但是老师让我并不这么做，原因就不细说了，加在自己以下的总结中。如下：我是第一次搞科研，在看文章的时候，注重文章的大体结构：abstract, introduction, preliminary knowledge, the model the author proposed and how he ...

2019-02-03 19:12:41 390 2

原创 1.25 推荐系统（矩阵补全）与盲矩阵求解

1.概论：推荐系统应该有不同种的模型，就我现在所知道的，有以下两种：第一种就是在监督学习下，预测出的概率，推荐出概率最大的物品。其中，表示物品的特征，表示事件：用户会点击物品。第二种应该多和电影推荐有关，属于无监督学习：给出电影以及用户的评分矩阵（每一行代表一个电影，不同用户对其的评分组成的一行；每一列代表一个用户，一个用户对不同电影的评价组成的每一列），其中的元素有些是空缺的，推荐系统...

2019-01-22 14:38:35 3227

原创 1.24 异常检测

1.动机令要检测的异常类（正类）标记为，正常类（负类）标记为。异常检测的问题就是对进行估计。在都是负类训练集上估计出，学习出正类应该具有的特征，然后在正负类都存在的交叉验证集上确定一个，当新样本来到时，根据的关系，从而判断出，是否为正类。为什么不能使用监督学习的机制？原因主要有两点：（1）正、负类的标记很不均匀，对于监督学习，需要足够多的正、负类样本同时存在，算法才能找到数据后面的...

2019-01-15 20:26:24 224

原创 1.18 机器学习的相关建议/大数据下的处理办法

1.只评价一个模型：对于评价一个（自己或者他人的）模型，只需要选择不同的指标在test set上去评估。最常见的就是：test error.2.自己训练一个模型并评价：（1）对于不同的模型或者没有使用正则化的模型来说：将所有集合划分成三部分：Training set，Cross validation set，Test set。用途如下：Training set(60%) ...

2019-01-14 19:09:18 249

原创 1.13矩阵微分与求导相关

0.相关记法与规定:本篇博客所涉及到数都是在实数域，不涉及复数。本博客中出现的所有向量不加说明时都默认列向量。是标量，是列向量，是矩阵。是标量函数，这里“标量”是指是一个实数，即是标量函数，这里“标量”是指是一个实数，即是向量函数，这里“向量“是指是一个向量，即是向量函数，这里“向量“是指是一个向量，即是矩阵函数，这里“矩阵“是指是一个矩阵，即是矩阵函数，这里“矩阵...

2019-01-06 22:33:52 2643 1

原创 1.15 Generative Learning Algorithm：GDA and Mixture of Gaussians/GMM

1. 生成学习算法(Generative Learning Algorithm)与判别学习算法(Discriminative Learning Algorithm):之前涉及到的回归类模型就是DLA的一类，是直接对建模的。更详细一点的说，没有使用正则化的模型是对建模，是一个参数。而使用了正则化的模型则是对建模。而GLA则是对建模，以分类问题为例，生成学习通过对不同类的特征建模，得到，...

2018-12-28 15:29:54 164

原创 1.16 The EM algorithm(Expectation-Maximization)

1.Jensen's inequalityIf is convex function and is a random variable, then .If is continuous and derivable,then (In the case of taking vector-valued inputs,the Hessian matrix is positive sem...

2018-12-26 21:26:56 224

原创 1.12 Regression-Logistic Regression and Softmax regression

1. Logistic Regression概率解释：解决的是二分类问题（类标记)在线性回归的基础上，引入一个logistic function（sigmoid function），使得输出(以下简称)为正类的概率。对于这个函数，一个很好的性质是：。令即，由此得到y的概率分布函数。记似然函数为：对数似然函数为：求导，得到梯度：。标量形式太冗长，记成向量形式，如下：同...

2018-12-24 17:18:03 204

原创 1.11 Regression-linear regression

0.目录：序号优化/矩阵方程角度 ,, 概率学解释 1 普通最小二乘：向量存在加性误差，即，问题转化为：的每一个分量,即： 2 数据最小二乘：b向量无观测误差，A存在加性误差暂时未总结 3 Tikhonov正则化：贝叶斯的角度下，引入先验知识 1.普通最小二乘与极大似然解释记,m为训练样本个数，n为特征...

2018-12-23 14:43:28 118

原创 1.6 概率与数理统计基础

1.大数定律与中心极限定理：（0）随机变量序列是n个不同的随机变量序列，每一个随机变量都有自己的分布，它们可能相同，也可能不同。（1）依概率收敛：数学的标准定义是：设是随机变量序列，是一个随机变量，如果对于任意给定的正数，有或者，则称随机变量序列以概率收敛于X。在定义中，其实默认了每一个随机变量都是独立同分布的，它们可以认为是对于总体的n次观测值，X就是理想中的真值。当我们观测足够多时...

2018-12-21 18:49:05 239

原创 1.8 谱聚类

1.绪论在此篇文章中，对于谱聚类的解释基于图论，并不涉及Random walks（在参考的文章中（1）中有详细解释）在叙述理论推导的同时，还需要给出简单的例子进行计算以加深理解。给定一个带权无向图,是结点集合，是边的集合。在谱聚类中，所有的样本构成了结点集合V，结点之间的相似度就是对应边的权重。聚类的目标就是将这些结点分成不同类，类与类之间有着较小的相似度，而类中的结点有着较大的相似度...

2018-12-02 09:26:26 357

原创 1.7 稀疏表示

1.稀疏向量与稀疏表示：一个含有大多数零元素的向量/矩阵叫做稀疏向量/稀疏矩阵。在传统的思路下，信号向量最多可以分解为m个正交基向量，这些正交基的集合称为完备正交基，分解的表示如下：,G是列向量的集合，c是在此基下的坐标。一定是非稀疏的。若将信号向量分解为n个m维的向量的线性组合,则n（>m)个向量不可能是正交基的集合。为了和基区别，这些列向量所形成的集合被称为：字典(codeb...

2018-12-02 09:24:57 688

原创 1.3补充协方差矩阵计算

本文是对1.3中自相关和自协方差矩阵的补充。是一个m维随机向量，其中每一个分量都是一个随机变量。由1.3中自相关矩阵的定义，有：，。以三维的详细来看：，,,构造了6个随机变量。最后再取这六个随机变量的均值，就得到了自相关矩阵。如果随机变量已经归一化处理后后，那么自相关就变成了协方差。自相关矩阵和协方差矩阵有两种方式计算：（1）当给出的是每一个随机变量的分布律时，比如x1的取值有两种(0...

2018-11-27 13:42:51 896

1.PCA引入和推导：引例：有5个二维空间的点（以列向量形式给出）：,如图：，可以很清晰地发现：它们可以由一个斜向量近似表示出来，这个斜向量就是,因为原先的5个2维向量中，第一个维度和第二个维度有着比例关系，所以可以进行降维处理，方法就是投影到这个斜向量上，以这个斜向量重新作为一个基，也能恢复保存原先的结构不发生大的变换。如果作为基的向量是一组标准基，那么投影之前的向量投影到这组新基后的坐标就...

2018-11-26 22:18:30 672

原创 1.4 优化方法

一、优化问题的数学形式：。根据问题的形式给出不同的分类。二、分类：（自己的分类，仅供参考）1.无约束优化：没有不等式约束和等式约束。无约束优化问题的解法：（0）撒点法（网格搜索法，随机模拟，智能算法（遗传算法等)）。自己选择叫这个名字，就是好记而已，网格相当于均匀撒点，随机模拟是利用随机性，而智能算法在撒完点后，进行特定的选择。（1）直接法（免导数，直接算f(x)的相关性质...

2018-11-25 16:29:24 259

原创 1.2 矩阵的性能指标及范数的相关应用

紧接着上文1.1，接下来梳理一下相关的性能指标。（很多东西都有先成的一大堆，这里之列自己有问题的点）一、矩阵的性能指标1.矩阵的二次型实对称矩阵是唯一的，衡量的是矩阵的正定性与负定性。2.矩阵的行列式刻画方阵的奇异性3.方阵的迹定义：并且.迹反应的是特征值之和。3.方阵的特征值/非方阵的奇异值对于方阵来说，它的特征值集合叫做它的谱，记为,谱半径是矩阵最大...

2018-11-22 13:52:02 2368

原创 1.3.随机变量，随机向量的自相关与自协方差

一、变量与随机变量什么是变量？变量是指没有固定的值，可以改变的数。我们记成等等，与之相应的就是常量，等。什么是随机变量？这里并不讨论随机变量的标准数学定义，给一个直观的理解就是：当一个变量有某一个概率取特定的值时，即,它就是随机变量。可以很清晰的感受到，随机变量与普通的变量区别就是它多了一个特点，这个特点就是它取某一个确定的值是有确定概率的。并且随机变量的所有取值对应的概率之和（离散）或是...

2018-11-20 19:06:10 14172 2

原创 1.1 范数，内积

一、内积在向量空间上定义一种运算，内积，就成了内积空间。定义在n维实向量空间的标准内积为：,是一个从的映射，满足三条性质（共轭对称，第一变元线性性，非负性）。两个向量的内积可以度量它们的夹角：,注意到，此处并没有定义范数。以上是向量的内积。对于矩阵来说，做以推广，定义在mxn实矩阵集合上的标准内积为：,公式太抽象，给个例子：,(对称是巧合而已），。仔细观察矩阵内积的计算，因...

2018-11-19 22:15:27 12281

原创 2.0 图像处理综述

一、综述视觉分为：感觉（perception）和知觉（perception）两部分，感觉重点于视觉信息的传感，采集，转换，变换。知觉在于处理和推理。如今，感觉这一步都是数字化的。它们的核心都在于理解图像。在整个视觉（DV）的体系中，是分层架构的。笼统的分为高中低三层。A.低层包括但不限于：0 成像系统（彩色成像）1（彩色）图像处理（输入输出都是图像）：图像增强（主观以人为目的）...

2018-11-17 17:53:36 2577

原创 1.0线代相关：基，变换

线性代数的起点有两个，1是解线性方程组，2是线性变换。这里从线性变换开始。一、首先，就是对于一个向量的描述，向量本身是和空间在一起的。想要给于向量给出一个确切描述，就必须选择它所在空间的一组（极大无关）基向量,对于一个完备的向量空间来说，所有的向量都可以通过它的基向量线性表出，即：，那么所对应的我们就称为向量的坐标。要注意到的是：基向量组只能是以抽象的形式表示出来，即以这种形...

2018-11-10 19:33:51 676

enthwxq的博客