2017年12月_kyang624823

转载使用交叉熵作为代价函数

二次代价函数（quadratic cost）：其中，C表示代价函数，x表示样本，y表示实际值，a表示输出值，n表示样本的总数。例如：假如我们使用梯度下降法（Gradient descent）来调整权值参数的大小，权值w和偏置b的梯度推导如下：其中，z表示神经元的输入。w和b的梯度跟激活函数的梯度成正比，激活函数的梯度越大，

2017-12-26 20:46:18 1524

转载 MATLAB-size

例如：x=[1,2,3;4,5,6]是一个2*3的矩阵，则：d = size(X); %返回矩阵的行数和列数，保存在d中[m,n] = size(X)%返回矩阵的行数和列数，分别保存在m和n中m = size(X,dim);%返回矩阵的行数或列数，dim=1返回行数，dim=2返回列数

2017-12-26 15:46:55 293

原创 NN代码解析

function nn = nnbp(nn)%NNBP performs backpropagation% nn = nnbp(nn) returns an neural network structure with updated weights n = nn.n; sparsityError = 0; switch nn.output c

2017-12-26 15:07:36 3453

转载梯度检验

0. 引言对于一个函数来说，通常有两种计算梯度的方式：数值梯度（numerical gradient）;解析梯度（analytic gradient）;数值梯度的优点是容易编程实现，不要求函数可微，然而，数值梯度缺点很明显，通常是近似解，同时求解速度很慢，因此在设计机器学习目标函数时，通常设计成可微的函数，可以快速地求解其解析梯度，同时这个梯度是确切解。1. 为何进

2017-12-26 11:02:16 6919

转载 Levenberg-Marquardt（列文伯格-马夸尔特）算法

什么是最优化？Levenberg-Marquardt算法是最优化算法中的一种。最优化是寻找使得函数值最小的参数向量。它的应用领域非常广泛，如：经济学、管理优化、网络分析、最优设计、机械或电子设计等等。根据求导数的方法，可分为2大类。第一类，若f具有解析函数形式，知道x后求导数速度快。第二类，使用数值差分来求导数。根据使用模型不同，分为非约束最优化、约束最优化、最小二乘

2017-12-25 20:13:57 17316 5

转载二分K-means算法

前面我们在是实现K-means算法的时候，提到了它本身存在的缺陷：1.可能收敛到局部最小值 2.在大规模数据集上收敛较慢对于上一篇博文最后说的，当陷入局部最小值的时候，处理方法就是多运行几次K-means算法，然后选择畸变函数J较小的作为最佳聚类结果。这样的说法显然不能让我们接受，我们追求的应该是一次就能给出接近最优的聚类结果。其实K-means的缺点的根本原因

2017-12-25 20:12:55 972

转载 k均值聚类

1.K-均值聚类法的概述之前在参加数学建模的过程中用到过这种聚类方法，但是当时只是简单知道了在matlab中如何调用工具箱进行聚类，并不是特别清楚它的原理。最近因为在学模式识别，又重新接触了这种聚类算法，所以便仔细地研究了一下它的原理。弄懂了之后就自己手工用matlab编程实现了，最后的结果还不错，嘿嘿~~~ 简单来说，K-均值聚类就是在给定了一组样本(x1, x2, ..

2017-12-25 19:06:31 719 1

转载 K-折交叉验证(k-fold crossValidation)

k-重交叉验证(k-fold crossValidation)：定义：在机器学习中，将数据集A分为训练集B（training set）和测试集C（test set），在样本量不充足的情况下，为了充分利用数据集对算法效果进行测试，将数据集A随机分为k个包，每次将其中一个包作为测试集，剩下k-1个包作为训练集进行训练。[M,N]=size(data);//数据

2017-12-25 18:41:57 34441 1

转载 RNN

一、RNN简介RNN的目的使用来处理序列数据。在传统的神经网络模型中，是从输入层到隐含层再到输出层，层与层之间是全连接的，每层之间的节点是无连接的。但是这种普通的神经网络对于很多问题却无能无力。例如，你要预测句子的下一个单词是什么，一般需要用到前面的单词，因为一个句子中前后单词并不是独立的。RNNs之所以称为循环神经网路，即一个序列当前的输出与前面的输出也有关。具体的表现形式为网络会对前面的信

2017-12-05 22:24:27 847

原创稀疏度MATLAB源码分析

目前为止，我们已经讨论了神经网络在有监督学习中的应用。在有监督学习中，训练样本是有类别标签的。现在假设我们只有一个没有带类别标签的训练样本集合，其中。自编码神经网络是一种无监督学习算法，它使用了反向传播算法，并让目标值等于输入值，比如。下图是一个自编码神经网络的示例。自编码神经网络尝试学习一个的函数。换句话说，它尝试逼近一个恒等函数，从而使得输出

2017-12-04 15:17:32 3403

原创 MATLAB—反向传播

function nn = nnbp(nn)%NNBP performs backpropagation% nn = nnbp(nn) returns an neural network structure with updated weights n = nn.n;%先让n=nn.n,就是最后一层输出的情况 sparsityError = 0; switch nn

2017-12-04 14:20:46 3404

转载 matlab——深度学习NN

==========================================================================================最近一直在看Deep Learning，各类博客、论文看得不少但是说实话，这样做有些疏于实现，一来呢自己的电脑也不是很好，二来呢我目前也没能力自己去写一个toolbox只是跟着Andrew Ng的

2017-12-03 21:58:12 5180 3

转载 matlab——NN代码(nnsetup)解析

本片主要介绍一种对于网络参数的改进方式，这也是大牛Hinton在前两年对深度网络的一个工作，主要的方法就是dropout，思想就是在训练网络的时候随机扔掉一些网络权值进行训练，其方法在前面的DeepLearnToolbox工具箱中也有集成，通过在这个工具箱中设置dropout参数可以直接实现网络中加入dropout的算法思想，本文旨在研究该工具箱时涉及到了dropout这块然后希望

2017-12-03 16:18:02 10166 1

kyang624823的博客