LaTeX:
2018-04-16 21:33:20
阅读(5)
错误如下:
解决方式: it was caused by the ByteFence Anti-malware software. After we uninstalled it, npm works.
重新安装:
2018-04-09 20:02:57
阅读(22)
1.下载并安装TexLive(必须,相当于java开发需要安装JDK):http://tug.org/texlive/acquire-netinstall.html
安装时间会有点久,大概需要3点几G的安装包
2.下载并安装atom(由 GitHub 开发的自由及开放源代码的文字和代码编辑器)...
2018-04-08 10:29:37
阅读(20)
学习李伟老师《深度学习》课程
增强学习基础
增强学习是传统机器学习中已经提出来的问题,主要侧重人机交互/模仿人类和自然交互的能力。
什么是增强学习
传统的深度学习:训练一个模型,然后用来预测、分类、生成图片….,而深度增强学习一开始就是考虑和现实交流的问题,面对不同的情况可...
2018-02-12 12:02:46
阅读(225)
学习李伟老师《深度学习》课程
目标分类基本框架
数据准备:数据来源、数据扩充、数据规范
模型设计:模型类型(分类/回归/分类+回归/多目标分类)-> 现有模型->模型设计(局部更改/从头设计)
训练细节:Batch-Size、数据循...
2018-02-10 12:14:25
阅读(232)
学习李伟老师《深度学习》课程
AlexNet:现代神经网络的起源
基本构成:卷积层+池化层+全连接层
背景
截至 2016 年,ImageNet 中含有超过 1500 万由人手工注释的图片网址,也就是带标签的图片,标签说明了图片中的内容,超过 2.2 万个类别。其中,至少...
2018-02-09 17:23:28
阅读(106)
学习李伟老师《深度学习》课程
本文GitHub源码及数据下载:
https://github.com/YEN-GitHub/DeepLearning_BasicByTensorFlow/tree/master/CNN
(不断更新,喜欢可fork)
Python代码:
...
2018-02-08 20:06:23
阅读(142)
学习李伟老师《深度学习》课程
本文GitHub源码及数据下载:
https://github.com/YEN-GitHub/DeepLearning_BasicByTensorFlow/tree/master/ANN
(不断更新,喜欢可fork)
TensorFlow简介
...
2018-02-06 11:23:13
阅读(128)
前言
本来用的是Python2.7,但最近学习需要用到TensorFlow,TensorFlow支持windows,但tensorflow在windows下只支持python 3.5以上
Anacoda3-4.2.0安装
Anacoda3-4.2.0 Uses python 3.5下...
2018-02-05 17:38:22
阅读(297)
学习彭亮《深度学习进阶:算法与应用》课程
Convolution Nerual Network介绍
目前总体来讲最流行, 表现最好的算法,尤其是对于图像处理方面:Convolution Neural Network (CNN)
MNIST结果达到接近人肉眼识别水平:
9,967 ...
2018-01-28 15:50:47
阅读(199)
学习彭亮《深度学习进阶:算法与应用》课程
概述
到目前为止, 我们例子中使用的神经网络一共只有3层 (一个隐藏层):
我们用以上神经网络达到了98%的accuracy
更深层的神经网络:
可以学习到不同抽象程度的概念.
如何训练深度神经网络?
难点: 神经网络的不同层...
2018-01-27 17:05:13
阅读(204)
学习彭亮《深度学习进阶:算法与应用》课程
背景
我们到目前为止在神经网络中使用了好几个参数, hyper-parameters包括:
学习率(learning rate): η
Regularization parameter: λ
之前只是设置了一些合适的值, 如何来选择合适...
2018-01-27 15:14:25
阅读(157)
学习彭亮《深度学习进阶:算法与应用》课程
用不同的初始化权重方法对比
1.对于隐藏层有30个神经元的对比:
(1)之前的方法:N(0,1)
N(0,1),即均值为0,方差为1的标准正太分布
import mnist_loader
training_data, validati...
2018-01-26 16:17:44
阅读(259)
学习彭亮《深度学习进阶:算法与应用》课程
背景
增加训练数据集的量是减少overfitting的途径之一:深度学习-softmax和Overfitting
减小神经网络的规模, 但是更深层更大的网络潜在有更强的学习能力
即使对于固定的神经网络和固定的训练集, 仍然可以减少over...
2018-01-26 15:33:11
阅读(180)
学习彭亮《深度学习进阶:算法与应用》课程
Softmax
是另外一种类型的输出层方程:
第一步 (和之前sigmoid一样):
第二步: (和之前sigmoid不同): softmax函数
分母是把所有神经元的输入值加起来
事实上, 其他a减小的值总是刚好等于a4增加...
2018-01-25 17:04:42
阅读(150)
学习彭亮《深度学习进阶:算法与应用》课程
旧的Cost Funtion
之前的cost Function是一个二元的Function,之前初始化Baise和Weight都是从正态分布里随机初始化。
我们理想情况是让神经网络学习更快,即更快达到我们的学习目标。
假设简单模型(我们已...
2018-01-25 16:08:48
阅读(101)
学习彭亮《深度学习进阶:算法与应用》课程
Backpropagation的目标
Backpropagation核心解决的问题: ∂C/∂w 和 ∂C/∂b 的计算,;针对cost函数C
符号说明
(1)
eg:表示第三层的第二个神经元结点与第3-1层的第四个神经元阶段的...
2018-01-24 16:17:31
阅读(137)
学习彭亮《深度学习进阶:算法与应用》课程
这两个传统分类器程序只是为了和神经网络算法进行预测的精确度进行对比:深度学习-随机梯度下降算法应用-手写数字识别
官方源码:neural-networks-and-deep-learning
根据灰度平均值进行手写数字识别
#coding=u...
2018-01-24 14:26:19
阅读(137)
学习彭亮《深度学习进阶:算法与应用》课程
MNIST数据集:
训练(train) : 50,000
验证(validation): 10,000
测试(test): 10,000
假设使用两层神经网络结构来实现:
完整代码
network.py
#codin...
2018-01-23 19:40:53
阅读(129)
学习彭亮《深度学习进阶:算法与应用》课程
背景
Mnist dataset:THE MNIST DATABASE of handwritten digits
中包含60000张28*28的手写数字图片作为训练集,10000张图片作为测试集。
x: 训练输入, 28*28 =...
2018-01-23 16:35:21
阅读(76)