木子超同学

I can accept failure but I can't accept not trying.

人脸识别(稀疏表示、人工神经网络)

1. 稀疏表示对于一个信号 x,如果 x 中大部分的元素都为 0,只有少部分元素不为0,则称信号 x 为稀疏的。或者 x 中大部分元素都为较小值,接近于 0,只有少部分元素为较大值,也可以称信号 x 为稀疏的(例如,图像傅立叶变换之后,或者小波变换之后)。信号稀疏表示问题可以通过求解稀疏正则优化问...

2015-08-31 12:05:03

阅读数 4051

评论数 0

神经网络-并行BP算法

1. 说明如果对神经网络中的 BP 算法已经十分熟悉,可以直接阅读此文,否则可以参考之前的两篇文章: 1. 神经网络(Neural Networks,NN)推导 2. 神经网络-文本识别本文的主要工作是将上述两篇文章中的 BP (后向传播算法)并行化,以提高计算效率。平台: 1. CPU:i...

2015-07-31 23:11:19

阅读数 6084

评论数 2

Kmeans 的 CUDA 并行实现

1. Kmeans 步骤常规的 Kmeans 步骤: 1. 初始化聚类中心 2. 迭代 1. 计算每个样本与聚类中心的欧式距离 2. 根据样本与聚类中心的欧式距离更新每个样本的类标签 3. 根据类标签更新聚类中心本文中并行化的 Kmeans 的步骤: 初始化每个样...

2015-07-26 21:48:18

阅读数 3923

评论数 4

神经网络-文本识别

1. 数据集说明本次所用的数据集有 5000 个样本,每个样本对应于 20x20 大小的灰度图像。对应 9-0 共十个数字的手写图像。样本中每个像素都用浮点数表示。在样本数据中,每幅图像都被展开为一个 400 维的向量,构成了样本数据矩阵中的一行。完整的训练数据是一个 5000x400 的矩阵,其...

2015-07-19 15:54:59

阅读数 2624

评论数 0

神经网络(Neural Networks,NN)

1. 介绍神经网络在一定程度上受到生物学的启发,由一系列相互链接的神经单元组成,每一个单元都有一定数量的实值输入(可能由其他神经单元输出),并产生单一的实数值输出(可能成为其他很多单元的输入)。如下图所示:其中,g1,g2,...,gTg_1, g_2, ..., g_T 的输入都为:X0,X1,...

2015-07-17 22:43:39

阅读数 4367

评论数 0

SVM - 手写数字识别

1. 流程 收集数据:此处使用给定的文本文件 准备数据:基于二值图像构造数据 分析数据:对图像向量进行目测 训练算法:采用三种不同的方法,不同的参数 线性分类器 二次多项式核函数 径向基核函数 测试并计算错误率 2. 实验本实验使用的训练数据如下图所示,为若干个手写的 0 和 9 的数字图像。本...

2015-07-14 09:09:47

阅读数 6631

评论数 0

Kernel SVM (核函数支持向量机)

1. SVM 目标函数及约束条件SVM 的介绍及数学推导参考:我的CSDN,此处直接跳过,直接给出 SVM 的目标函数和约束条件:minw,b12wTws.t.yn(wTxn+b)≥1,n=1,..N \begin{array}{l} \mathop {{\bf{min}}}\limits_{\b...

2015-07-13 17:49:47

阅读数 9044

评论数 0

Dual SVM (对偶支持向量机)

1. SVM 目标函数及约束条件SVM 的介绍及数学推导参考:我的CSDN,此处直接跳过,直接给出 SVM 的目标函数和约束条件:minw,b12wTws.t.yn(wTxn+b)≥1,n=1,..N \begin{array}{l} \mathop {{\bf{min}}}\limits_{\b...

2015-07-12 16:50:02

阅读数 3275

评论数 1

SVM (支持向量机)

1. 介绍SVM (Support Vector Machine,支持向量机)是一种有监督的统计学习方法,能最小化经验误差和最大化几何边缘,被称为最大间隔分类器,可用于分类与回归分析。如上图所述的线性分类问题可以使用 PLA 或 pocket 方法求解。得到下式的线性分类器:h(x)=sign(w...

2015-07-11 19:10:42

阅读数 3224

评论数 0

Kmeans++及字典学习和图像分割

1. Kmeans++Kmeans 中对聚类中心的初始化比较敏感,不同的初始值会带来不同的聚类结果,这是因为 Kmeans 仅仅是对目标函数求近似最优解,不能保证得到全局最优解。在常规的 Kmeans 中,聚类中心的初始化都采用随机初始化的方式,这样会存在一个问题:如果数据在某个部分较密集,那么产...

2015-06-05 19:45:39

阅读数 4051

评论数 0

再读 K-Means

1. 流程训练集为:{x(1),x(2),...,x(m)}\left\{ {{x^{\left( 1 \right)}},{x^{\left( 2 \right)}},...,{x^{\left( m \right)}}} \right\}其中,x(i)∈Rn{x^{\left( i \righ...

2015-04-18 22:08:58

阅读数 1062

评论数 0

Python 文本处理

1. 打开关闭文件fh = open(filename, mode) # 打开现有文件 fp = file(filename, mode) # 新建并打开文件其中,mode 选项如下所示: r 以只读方式打开 w 以写方式打开,若有内容,会清空 a 以追加模式打开,若有内...

2015-04-10 22:37:20

阅读数 2080

评论数 0

K 近邻

1. 定义所谓 K 近邻算法(K-Nearest Neighbor)简称 KNN 算法。即给定一个训练数据集,对新的输入实例,在训练数据集中找到与该实例最近邻的 K 个实例(也就是 K 个邻居),这 K 个实例的多数属于某个类,就把该输入实例分到这个类中。如上图所示,有两个不同的样本数据,分别用蓝...

2015-04-09 13:40:16

阅读数 555

评论数 0

基于 K-means 和 PCA 的字典学习

1. 字典对于自然语言而言,本身具有非常复杂的特征,常规的正交基,例如傅立叶基,DCT 基,小波基等,都无法刻画出信号的全部特征,因此对应的变换域不是最佳的稀疏域。于是人们提出了用超完备冗余字典来对信号进行稀疏表示,原来的基函数被字典取代。用字典对图像进行稀疏表示,就是从字典中得到 m 个原子(字...

2015-03-30 12:30:29

阅读数 5415

评论数 2

PCA 主成分分析

性质1 实对称矩阵的特征值对应的特征向量一定是正交的。 证明:令实对称矩阵为 A,A的两个不同的特征值为 λ1\lambda _1, λ2\lambda _2,他们对应的特征向量为:μ1\mu _1,μ2\mu _2,则有:Aμ1=λ1AAμ2=λ2A A\mu _1 = \lambda _1...

2015-03-25 20:06:52

阅读数 1621

评论数 0

范数

概念一个矩阵 x 的 p 范数可以定义为:||x||p=∑i|xi|p−−−−−−−√p ||x||_p = \sqrt [p] {\sum \nolimits_{i} {|x_i|^p}} 0 范数 表示非0元素的个数 1 范数 所有元素的绝对值的和:||x||1=∑i|xi| ||x||_...

2015-03-24 18:51:41

阅读数 2122

评论数 0

K-means算法

数据训练集为:{x(1),x(2),...,x(m)}\left\{ {{x^{\left( 1 \right)}},{x^{\left( 2 \right)}},...,{x^{\left( m \right)}}} \right\}其中,x(i)∈Rn{x^{\left( i \right)}...

2015-03-23 11:39:59

阅读数 931

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭