2017年04月_幸运六叶草

原创如何直观的解释back propagation算法（三）

首先说这个图解的优点：先形象说明了forward-propagation，然后说明了error backward-propagation，最后根据误差和梯度更新权重。没错这是backprop，又非常直观，但是从前的backprop了。backprop的发展路线大概是，1974年有个Harvard博士生PaulWerbos首次提出了backprop，不过没人理他，1986年Rumelhart和H

2017-04-28 17:52:00 1192

原创如何直观的解释back propagation算法(二)

利用计算图做自动微分时，既有前向模式，也有反向模式。而神经网络中的反向传播就是自动微分的反向模式。事实上，我们还可以用“前向传播”来计算神经网络中的梯度值，但是由于效率原因这个方法并没有被采用。我们首先考虑下面这个计算图<img src="https://pic2.zhimg.com/v2-e5fdff4d524b1f65db09e74800dfb395_b.j

2017-04-28 11:30:15 957

转载如何直观的解释back propagation算法(一）

作者：胡逸夫链接：https://www.zhihu.com/question/27239198/answer/89853077来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。BackPropagation算法是多层神经网络的训练中举足轻重的算法。简单的理解，它的确就是复合函数的链式法则，但其在实际运算中的意义比链式法则要大的多。要回答题主

2017-04-27 18:34:52 1153

转载 CS231n课程笔记翻译：反向传播笔记

译者注：本文智能单元首发，译自斯坦福CS231n课程笔记Backprop Note，课程教师Andrej Karpathy授权翻译。本篇教程由杜客翻译完成，堃堃和巩子嘉进行校对修改。译文含公式和代码，建议PC端阅读。原文如下：内容列表：简介简单表达式和理解梯度复合表达式，链式法则，反向传播直观理解反向传播模块：Sigmoid例子反向传播实践：

2017-04-27 17:31:09 976

原创逻辑门

常用的逻辑门有两种常用的表示法，他们皆由ANSI（美国国家标准协会）／IEEE（电机电子工程师学会） Std 91-1984 跟作为其补充的 ANSI／IEEE Std 91a-1991。 “特殊形状符号”是用过去电路简图为基础以及50年代、60年代MIL-STD-806作衍生；有时也被描述成“军事”，而这个也反映了它的起源。“IEC矩形国标符号”是以ANSI Y32.14跟一些早期工业用的符

2017-04-13 12:42:08 6078

原创感知机

什么是神经网络？在回答这个问题之前，我会先解释一种叫做感知机（perceptron）的人工神经元。感知机由科学家Frank Rosenblatt发明于1950至1960年代，他受到了来自Warren McCulloch 和Walter Pitts的更早工作的启发。现如今，我们通常使用其它种类的人工神经元模型——在这本书里，以及在许多关于神经网络的最新工作里，主要使用的是一种叫做sigmoid神

2017-04-13 10:05:21 947

原创使用神经网络识别手写数字

人类的视觉系统是世上的一个奇迹。考虑以下这串手写的数字：大部分人都能轻易地识别出图上的数字是504192。这个看似简单的过程的背后，实际上很复杂。在我们大脑的每个脑半球中，有一个叫做初级视皮层（primary visual cortex）的部分，也被称作V1。它拥有1亿4千万个神经元，包含了上百亿的神经元连接。然而，人类的视觉系统不仅仅依赖于V1，还依赖于整套视皮层——V2、V3、V4和V

2017-04-13 10:02:34 999

原创 Neural Networks

Model Representation IITo re-iterate, the following is an example of a neural network:a(2)1=g(Θ(1)10x0+Θ(1)11x1+Θ(1)12x2+Θ(1)13x3)a(2)2=g(Θ(1)20x0+Θ(1)21x1+Θ(1)22x2+Θ(1)23x3)a(2)3=g(Θ(1)

2017-04-13 07:43:03 430

原创斯坦福大学的机器学习笔记SVM初探详解

最近在看斯坦福大学的机器学习的公开课，学习了支持向量机，再结合网上各位大神的学习经验总结了自己的一些关于支持向量机知识。一、什么是支持向量机(SVM)?1、支持向量机（Support Vector Machine，常简称为SVM）是一种监督式学习的方法，可广泛地应用于统计分类以及回归分析。支持向量机属于一般化线性分类器，这族分类器的特点是他们能够同时最小化经验误差与最大化几何边缘区，因此支

2017-04-11 14:41:30 1897

原创线性回归--正规方程Normal Equation

正规方程 Normal Equation在线性回归中，为了求得参数的最优值，一般采用梯度下降和本文将要介绍的正规方程（normal equation）。相比较梯度下降采用多次迭代逼近的方式，normal equation采用矩阵运算可以直接求解出参数。先介绍下什么是normal equation，假设一个数据集X有m个样本，n个特征。则假设函数为：，数据集X的特征向量表示为：

2017-04-01 16:54:43 4251

AnneQiQi的博客