深度学习
文章平均质量分 81
未济2019
这个作者很懒,什么都没留下…
展开
-
TensorFlow试用
Google发布了开源深度学习工具TensorFlow。根据官方教程 http://tensorflow.org/tutorials/mnist/beginners/index.md 试用。1. 安装 1.1 参考文档 http://原创 2015-11-10 16:10:42 · 21669 阅读 · 5 评论 -
史上最直白的LDA教程之一
前言LDA线性鉴别分析,又叫线性鉴别矢量,它是Ronald Fisher发明的,所以有时候又叫Fisher鉴别矢量,它的核化版本叫KFDA(Kernel Fisher Discriminant Analysis)。机器学习的分类问题 ,是一种有监督学习。所谓有监督,就是知道训练样本的类别。顾名思义,无监督学习就是没有样本的类别信息,比如PCA就是无监督学习,如我们前面推导过的PCA,不需要原创 2015-12-16 16:26:29 · 9530 阅读 · 3 评论 -
史上最直白的朴素贝叶斯教程
贝叶斯公式设AA和BB是两个事件,根据全概率公式: P(A∩B)=P(B)P(A|B)=P(A)P(B|A)\begin{equation}P(A\cap B)=P(B)P(A|B)=P(A)P(B|A)\end{equation} 所以有: P(B)P(A|B)=P(A)P(B|A)\begin{equation}P(B)P(A|B)=P(A)P(B|A)\end{equation}原创 2015-12-22 16:26:46 · 3095 阅读 · 3 评论 -
[deeplearning-001] stotisticks gradient descent随机梯度下降算法的最简单例子解释
1.gradient descent梯度下降优化1.1假设要优化一个函数f(x)=(x−1)2f(x)=(x-1)^2。这个函数在x=1x=1 时有最小值,这是解析解。如果用梯度下降法,是这样的: f′(x)=2(x−1)f^{'}(x)=2(x-1) 每一步的迭代公式是: xi+1=xi−ηf′(xi)x_{i+1}=x_{i} - \eta f^{'}(x_{i}) 如果∣xi+1−xi原创 2017-10-23 07:17:55 · 1668 阅读 · 2 评论 -
[deeplearning-002] 单节点神经网络推导
这个例子是最基础的例子,深度学习是它的各种形式的扩展。几个关键:神经网络结构,激活函数,向量化,随机梯度下降算法,也是广泛使用。1.训练集 设训练集合是{x(i),y(i)}i=1...n\{x^{(i)}, y^{(i)}\} i=1...n,其中x∈R1×dx\in R^{1\times d}。xx是个向量,数据集有nn个样本。2.神经网络结构 一个神经元,有d+1个输入,前d个是向量xx的原创 2017-10-25 07:30:11 · 452 阅读 · 0 评论 -
[deeplearning-003] 一般形式的反向传导算法BP最简推导-1
1.神经网络结构 设神经网络的层数是pp,p≥3p\ge 3。 神经网络有三种层:一个输入层,若干个隐层,一个输出层,分别简称L1L^1,L2L^2,…,LpL^p。 设每层神经元数量分别是d1d^1,d2d^2,…,dpd^p。每个神经元的应激函数是f(x)f(x)。2.分析第一层和第二层并推导全局变量 设一个样本是x∈Rd1×1\mathbf x\in R^{d^1\times 1},它原创 2017-10-27 07:33:46 · 279 阅读 · 0 评论 -
[deeplearning-004] 一般形式的反向传导算法BP最简推导-2
3.2 梯度下降 训练神经网络,就是让J(W,b)J(\mathbf W, \mathbf b)的值最小。解法就是梯度下降,或者随机梯度下降。梯度下降法的迭代公式是: (Wlj,i))s+1=(Wlj,i)s−η∂J(W,b)∂Wlj,i∣Wlj,i=(Wlj,i)s(\mathbf W^l_{j,i)})_{s+1}=(\mathbf W^l_{j,i})_s-\eta \frac{\par原创 2017-10-27 08:42:46 · 410 阅读 · 0 评论 -
史上最直白的LDA教程之二
史上最直白的LDA教程的pdf文档已经整理,并上传到csdn,链接如下:http://download.csdn.net/detail/u011539200/9361723原创 2015-12-16 16:46:32 · 1156 阅读 · 0 评论 -
史上最直白的pca教程 之 一
PCA理论推导X=⎛⎝⎜⎜⎜⎜x1,1x2,1...xm,1x1,2x2,2...xm,2............x1,nx2,n...xm,n⎞⎠⎟⎟⎟⎟X=\left(\begin{array}{cccc}x_{1,1} & x_{1,2} & ... & x_{1,n}\\x_{2,1} & x_{2,2} & ... & x_{2,n}\\... & ... & ..原创 2015-11-27 16:43:48 · 2779 阅读 · 0 评论 -
史上最直白的logistic regression教程 之 五
史上最直白的logistic regression教程整理稿,将4篇博文整理成一个完整的pdf文档,且修改成学术语境。链接在这里:http://download.csdn.net/detail/u011539200/92906950积分下载,求rp,^_^原创 2015-11-22 15:57:46 · 1697 阅读 · 2 评论 -
史上最直白的logistic regression教程 之 四
接上篇,用python实现logisitic regression,代码如下:#!/usr/bin/env python #! -*- coding:utf-8 -*-import matplotlib.pyplot as pltfrom numpy import *#创建数据集def load_dataset(): n = 100 X = [[1, 0.005*xi] for原创 2015-11-19 16:19:26 · 1919 阅读 · 0 评论 -
史上最直白的logistic regression教程 之 二
实现线性拟合我们用python2.7实现上一篇的推导结果。请先安装python matplotlib包和numpy包。具体代码如下:#!/usr/bin/env python #! -*- coding:utf-8 -*-import matplotlib.pyplot as pltfrom numpy import *#创建数据集def load_dataset(): n = 100原创 2015-11-17 15:02:48 · 3311 阅读 · 0 评论 -
史上最直白的ICA教程之一
前言独立成分分析ICA是一个在多领域被应用的基础算法。ICA是一个不定问题,没有确定解,所以存在各种不同先验假定下的求解算法。相比其他技术,ICA的开源代码不是很多,且存在黑魔法–有些步骤并没有在论文里提到,但没有这些步骤是无法得到正确结果的。本文给出一个ICA最大似然解法的推导,以及FastICA的python实现,限于时间和实际需求,没有对黑魔法部分完全解读,只保证FastICA实现能得到正确结原创 2015-12-11 14:38:56 · 33908 阅读 · 19 评论 -
史上最直白的ICA教程之二
整个文档已经整理成pdf,文档在:http://download.csdn.net/detail/u011539200/9347083免积分,求人品。原创 2015-12-11 14:49:13 · 2149 阅读 · 0 评论 -
史上最直白的logistic regression教程 之 一
Logistic Regession是什么Logistic Regression是线性回归,但最终是用作分类器。 为什么叫Logistic呢?因为它使用了Logisitic函数,形如: f(z)=ezez+1=11+e−zf(z) = \dfrac{e^z}{e^z+1} = \dfrac{1}{1+e^{-z}} 这个函数有一些很有趣的性质,后面会谈到。先从一个最简单的问题开始假如有一组样原创 2015-11-17 15:11:38 · 23510 阅读 · 5 评论 -
史上最直白的logistic regression教程 之 三
在线性拟合的基础上,我们实现logistic regression了。如前所述,样本集是 {x1,y1},{x2,y2},...,{xn,yn}[1]\{x_1,y_1\}, \{x_2, y_2\}, ..., \{x_n, y_n\}[1] 其中,xi=[1,xi,1,xi,2,xi,3,...,xi,k]Tx_i=[1, x_{i,1}, x_{i,2},x_{i,3},...,x_{i,原创 2015-11-19 16:09:49 · 3015 阅读 · 0 评论 -
史上最直白的pca教程 之 二
pca的博文已经整理成一个完整的pdf文档,在这里下载:http://download.csdn.net/detail/u011539200/9305773不需要积分,累计人品,^_^原创 2015-11-27 16:48:26 · 1072 阅读 · 0 评论 -
[deeplearing]深度学习漫谈001
最简单分类器,是一条直线。例如,在二维空间,直线y=w*x+b(x、y、w、b均为标量),把二维空间切分成两个部分,一个在直线上面,一个在直线下面。直线上面部分,它的每个点,设坐标为(x_u, y_u),那么必有 w*x_u+b-y_u > 0。直线下面部分,它的每个点,设坐标为(x_d, y_d),那么必有 w*x_d+b-y_d<0。所以,将点的坐标代入到w*x+b-y,根据其...原创 2019-07-07 12:09:07 · 392 阅读 · 0 评论