YEN_CSDN的博客

如果真的相信什么,就要用尽全力去让它发生。

深度学习- 卷积神经网络Convolution Nerual Network(CNN)算法

学习彭亮《深度学习进阶:算法与应用》课程 Convolution Nerual Network介绍 目前总体来讲最流行, 表现最好的算法,尤其是对于图像处理方面:Convolution Neural Network (CNN) MNIST结果达到接近人肉眼识别水平: 9,967 ...

2018-01-28 15:50:47

阅读数:207

评论数:0

深度学习-训练深度神经网络的难点:vanishing gradient problem与exploding gradient problem

学习彭亮《深度学习进阶:算法与应用》课程 概述 到目前为止, 我们例子中使用的神经网络一共只有3层 (一个隐藏层): 我们用以上神经网络达到了98%的accuracy 更深层的神经网络: 可以学习到不同抽象程度的概念. 如何训练深度神经网络? 难点: 神经网络的不同层...

2018-01-27 17:05:13

阅读数:213

评论数:0

深度学习-神经网络参数(hyper-parameters)选择

学习彭亮《深度学习进阶:算法与应用》课程 背景 我们到目前为止在神经网络中使用了好几个参数, hyper-parameters包括: 学习率(learning rate): η Regularization parameter: λ 之前只是设置了一些合适的值, 如何来选择合适...

2018-01-27 15:14:25

阅读数:161

评论数:0

深度学习-实现提高版本的手写数字识别算法

学习彭亮《深度学习进阶:算法与应用》课程 用不同的初始化权重方法对比 1.对于隐藏层有30个神经元的对比: (1)之前的方法:N(0,1) N(0,1),即均值为0,方差为1的标准正太分布 import mnist_loader training_data, validati...

2018-01-26 16:17:44

阅读数:270

评论数:0

深度学习-L1 Regularization、L2 Regularization、Dropout和人工扩大训练集减少Overfitting

学习彭亮《深度学习进阶:算法与应用》课程 背景 增加训练数据集的量是减少overfitting的途径之一:深度学习-softmax和Overfitting 减小神经网络的规模, 但是更深层更大的网络潜在有更强的学习能力 即使对于固定的神经网络和固定的训练集, 仍然可以减少over...

2018-01-26 15:33:11

阅读数:187

评论数:0

深度学习-softmax和Overfitting

学习彭亮《深度学习进阶:算法与应用》课程 Softmax 是另外一种类型的输出层方程: 第一步 (和之前sigmoid一样): 第二步: (和之前sigmoid不同): softmax函数 分母是把所有神经元的输入值加起来 事实上, 其他a减小的值总是刚好等于a4增加...

2018-01-25 17:04:42

阅读数:155

评论数:0

深度学习-Cross-Entropy Cost函数来实现MNIST手写数字识别

学习彭亮《深度学习进阶:算法与应用》课程 旧的Cost Funtion 之前的cost Function是一个二元的Function,之前初始化Baise和Weight都是从正态分布里随机初始化。 我们理想情况是让神经网络学习更快,即更快达到我们的学习目标。 假设简单模型(我们已...

2018-01-25 16:08:48

阅读数:103

评论数:0

深度学习-Backpropagation算法

学习彭亮《深度学习进阶:算法与应用》课程 Backpropagation的目标 Backpropagation核心解决的问题: ∂C/∂w 和 ∂C/∂b 的计算,;针对cost函数C 符号说明 (1) eg:表示第三层的第二个神经元结点与第3-1层的第四个神经元阶段的...

2018-01-24 16:17:31

阅读数:143

评论数:0

深度学习-灰度平均值算法和支持向量机算法(SVM)进行手写数字识别

学习彭亮《深度学习进阶:算法与应用》课程 这两个传统分类器程序只是为了和神经网络算法进行预测的精确度进行对比:深度学习-随机梯度下降算法应用-手写数字识别 官方源码:neural-networks-and-deep-learning 根据灰度平均值进行手写数字识别 #coding=u...

2018-01-24 14:26:19

阅读数:143

评论数:0

深度学习-随机梯度下降算法应用-手写数字识别

学习彭亮《深度学习进阶:算法与应用》课程 MNIST数据集: 训练(train) : 50,000 验证(validation): 10,000 测试(test): 10,000 假设使用两层神经网络结构来实现: 完整代码 network.py #codin...

2018-01-23 19:40:53

阅读数:131

评论数:0

深度学习-梯度下降(gradient descent)算法概念

学习彭亮《深度学习进阶:算法与应用》课程 背景 Mnist dataset:THE MNIST DATABASE of handwritten digits 中包含60000张28*28的手写数字图片作为训练集,10000张图片作为测试集。 x: 训练输入, 28*28 =...

2018-01-23 16:35:21

阅读数:77

评论数:0

深度学习-基础概念:神经元(Neurons)、Sigmoid 函数与神经网络基本结构

学习彭亮《深度学习进阶:算法与应用》课程 神经元 神经元模型是一个包含输入,计算与输出功能的模型。 连接是神经元中最重要的东西。每一个连接上都有一个权重。一个神经网络的训练算法就是让权重的值调整到最佳,以使得整个网络的预测效果最好。  我们使用xj来表示输入,用wj来表...

2018-01-23 15:14:47

阅读数:161

评论数:0

机器学习-Hierarchical clustering 层次聚类算法

学习彭亮《深度学习基础介绍:机器学习》课程 假设有N个待聚类的样本,对于层次聚类来说,步骤: (初始化)把每个样本归为一类,计算每两个类之间的距离,也就是样本与样本之间的相似度; 寻找各个类之间最近的两个类,把他们归为一类(这样类的总数就少了一个); 重新计算新生成的这个类与各个旧类之...

2018-01-21 16:37:33

阅读数:214

评论数:0

机器学习-Kmeans算法

学习彭亮《深度学习基础介绍:机器学习》课程 归类 聚类(clustering) 属于非监督学习 (unsupervised learning),无类别标记(class label) K-means 算法 Clustering 中的经典算法,数据挖掘十大经典算法之一 ...

2018-01-20 16:46:36

阅读数:128

评论数:0

机器学习-回归中的相关性(Correlation Coefficient)和R平方值算法

学习彭亮《深度学习基础介绍:机器学习》课程 皮尔逊相关系数 (Pearson Correlation Coefficient): 概念:衡量两个值线性相关强度的量 取值范围: [-1, 1]: 正向相关: >0, 负向相关: 计算公式: 相关 举例 ...

2018-01-19 15:25:15

阅读数:322

评论数:0

机器学习-非线性回归( Unlinear Regression) -逻辑回归(Logistic Regression)算法

学习彭亮《深度学习基础介绍:机器学习》课程 概率 定义 概率(Probability): 对一件事情发生的可能性的衡量 范围 0 计算方法 根据个人置信 根据历史数据 根据模拟数据 条件概率 即A在B发生的情况下的概率=AB同时发生的概率/...

2018-01-18 16:07:15

阅读数:245

评论数:0

机器学习-多元线性回归(Multiple Regression)算法

学习彭亮《深度学习基础介绍:机器学习》课程 与简单线性回归区别 简单线性回归:一个自变量(x) 多元线性回归:多个自变量(x) 多元回归模型 y=β0+β1x1+β2x2+ … +βpxp+ε 其中:β0,β1,β2… βp是参数 ε是误差值 多元回归方程 E(y...

2018-01-17 16:30:14

阅读数:185

评论数:0

机器学习-简单线性回归(Simple Linear Regression)算法

学习彭亮《深度学习基础介绍:机器学习》课程 准备 需要用到一些统计量: 平均值(mean) 中位数(median) 众数(mode) 方差(variance) 标准差(standard deviation) 概念 回归:(regression) Y变量为连续数值型(con...

2018-01-16 15:42:49

阅读数:117

评论数:0

机器学习-神经网络(Neural Network)算法

学习彭亮《深度学习基础介绍:机器学习》课程 背景 以人脑中的神经网络为启发,最著名的算法是1980年的backpropagation 多层向前神经网络(Multilayer Feed-Forward Neural Network) Backpropagation被使用在多层向前神经...

2018-01-15 17:24:12

阅读数:126

评论数:0

机器学习-支持向量机的SVM(Supprot Vector Machine)算法-linear inseparable

学习彭亮《深度学习基础介绍:机器学习》课程 概述 linear separable 线性可分 特性(优点) 训练好的模型的算法复杂度是由支持向量的个数决定的,若不是由数据的维度决定的。所以SVM不容易产生overfiting SVM训练出来的模型完全依赖于support v...

2018-01-12 15:51:55

阅读数:146

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭