deep_learning
doulinxi115413
这个作者很懒,什么都没留下…
展开
-
神经网络基础1
1. 背景: 1.1 以人脑中的神经网络为启发,历史上出现过很多不同版本 1.2 最著名的算法是1980年的 backpropagation 2. 多层向前神经网络(Multilayer Feed-Forward Neural Network) 2.1 Backpropagation被使用在多层向前神经网络上 2.2 多层向前神经网络由以下部分组成: ...转载 2018-03-18 19:35:14 · 182 阅读 · 0 评论 -
神经网络简单实例
1. 关于非线性转化方程(non-linear transformation function)sigmoid函数(S 曲线)用来作为activation function: 1.1 双曲函数(tanh) 1.2 逻辑函数(logistic function)2. 实现一个简单的神经网络算法import numpy as npdef tanh(x): #双...翻译 2018-03-19 09:06:45 · 6141 阅读 · 1 评论 -
简单线性回归问题
1. 介绍:回归(regression) Y变量为连续数值型(continuous numerical variable) 如:房价,人数,降雨量 分类(Classification): Y变量为类别型(categorical variable) 如:颜色类别,电脑品牌,有无信誉 2. 简单...翻译 2018-03-19 11:09:23 · 499 阅读 · 0 评论 -
浅谈循环神经网络(RNN)
1.RNN怎么来的?循环神经网络的应用场景比较多,比如暂时能写论文,写程序,写诗,但是,(总是会有但是的),但是他们现在还不能正常使用,学习出来的东西没有逻辑,所以要想真正让它更有用,路还很远。这是一般的神经网络应该有的结构: 既然我们已经有了人工神经网络和卷积神经网络,为什么还要循环神经网络? 原因很简单,无论是卷积神经网络,还是人工神经网络,他们的前提假设都是:元素之间是相互独立的,输入与输出...转载 2018-05-22 15:49:08 · 2379 阅读 · 0 评论 -
产生消失的梯度问题的原因
产生消失的梯度问题的原因先看一个极简单的深度神经网络:每一层都只有一个单一的神经元。如下图:代价函数C对偏置b1的偏导数的结果计算如下:先看一下sigmoid 函数导数的图像:该导数在σ′(0) = 1/4时达到最高。现在,如果我们使用标准方法来初始化网络中的权重,那么会使用一个均值为0 标准差为1 的高斯分布。因此所有的权重通常会满足|wj|<1。从而有wjσ′(zj) < 1/4。...转载 2018-07-01 22:18:47 · 5839 阅读 · 0 评论 -
机器学习 —— 基础整理(八)循环神经网络的BPTT算法步骤整理;梯度消失与梯度爆炸
https://www.cnblogs.com/Determined22/p/6562555.html转载 2018-07-01 22:51:15 · 411 阅读 · 0 评论