- 博客(8)
- 资源 (16)
- 收藏
- 关注
原创 《深度学习入门:基于Python的理论与实现》第6章-权重的初始化
权重的初始化在神经网络的学习中,权重的初始值特别重要。实际上,设定什么样的权重初始值经常关系到神经网络的学习能否成功。1 可以将权重初始化为0吗由于神经网络的学习可能会产生过拟合的效果。所谓过拟合就是对训练数据的预测准确度非常高,但应用到其它数据集上表现的结果则非常差,称之为泛化能力不好。一般会通过一种权值衰减的方式抑制该问题,权值衰减是一种以减小权重参数的值为目的进行学习的方法。...
2018-12-09 23:39:04 894
原创 《深度学习入门:基于Python的理论与实现》第6章-参数的更新
声明:这是原书的读书笔记,原书中的图,实在太漂亮了,我忍不住全扣下来了。。。强推原书。参数优化神经网络的学习的目的是找到使损失函数的值尽可能小的参数。这是寻找最优参数的问题,解决这个问题的过程称为最优化。1 随机梯度下降一种最基本的方法是将参数的梯度作为线索,使用参数的梯度,沿梯度方向更新参数,并重复这个步骤多次,从而逐渐靠近最优参数,这个过程称为随机梯度下降(Stochastic...
2018-12-09 19:38:19 877
原创 《深度学习入门:基于Python的理论与实现》第四章阅读笔记
4 神经网络的学习这一章主要讲解神经网络的学习,包括第三章初步介绍的前向传播,已经这一章要将的反向传播等。4.1 从数据中学习神经网络的特征就是可以从数据中学习。所谓从数据中学习,是指可以由数据自动决定权重参数的取值。4.1.1 数据驱动利用数据相出一个可以识别数字的算法。一种方案是,先从图像中提取特征量,再用机器学习技术学习这些特征量的模式,最后对转换后的向量使用机器学习中的...
2018-12-08 23:11:47 1128 4
原创 Python实现简单神经网络
使用Python + NumPy库,实现神经网络。该网络具有一层输入层,一层隐藏层,一层输出层。求梯度采用的方法是数值微分求梯度。由于该算法效率较差,所以只训练了10次。最终的正确率停留在9%左右。(唯一的感觉就是数值积分确实好理解,但是太慢了!)from dataset.mnist import load_mnistimport numpy as npbatch_...
2018-12-08 19:16:01 962
原创 关于int变量的一些算法
1. int变量的二进制表示中“1”的个数例如:78= (0000 0000 0100 1110)b。所以 f(78) = 4。56 = (0000 0000 0011 1000)b。所以 f(56) = 3。int cnt = 0;while (n > 0) { cnt ++; n = n&(n-1);}2. int变量的二进制表示中最右边1的...
2018-12-03 21:40:05 2226
原创 UML笔记
内容源于《大话设计模式》。 类图:类图分三层,第一层显示类的名称,如果是抽象类,则用斜体显示。第二层是类的特性,通常就是字段和属性。第三层是类的操作,通常是方法或行为。方法前面一般有符号,‘+’表示public,‘-’表示private,‘#’表示protected。接口图:继承关系:空心三角形+实线。实线接口:空心三角形 + 虚线关联:当一...
2018-12-02 21:50:34 194
原创 《深度学习入门:基于Python的理论与实现》第三章阅读笔记
目录3 神经网络3.1 从感知机到神经网络3.1.1 神经网络的例子3.1.2 复习感知机3.1.3 激活函数登场3.2 激活函数3.2.1 sigmoid函数 3.2.2 阶跃函数的实现3.2.3 阶跃函数的图像3.2.4 sigmoid函数的实现3.2.5 sigmoid函数和阶跃函数的比较3.2.6 非线性函数3.2.7 ReLU函数3...
2018-12-02 00:09:40 1430 11
vimconfig-vim配置脚本
2018-04-08
phantomjs-2.1.1-linux-x86_64.tar.bz2下载安装
2017-11-09
Parallel and Distributed Programming Using C++-Addison Wesley(2003).pdf
2017-04-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人