- 博客(21)
- 收藏
- 关注
RSS订阅原创 卷积层的实现(im2col)
class Convolution: def __init__(self, W, b, stride=1, pad=0): self.W = W. #W二维大小的滤波器 self.b = b #b二维大小的偏置 self.stride = stride self.pad = pad def forward...
2019-07-02 15:51:46
809
2
原创 im2col中输入输出的解释
先来个2维的输入输入为：滤波器为输入大小为 (H, W) 滤波器大小为(FH, FW) 输出大小为(OH, OW) 填充为P，步幅为 S输入（1,1,H,W）, 经过im2col后，得到 （ OH*OW ，FH*FW）的数组，之后和滤波器相乘。python中运行如下：-------------------------------------------...
2019-06-30 22:14:54
704
4
原创 Adam 翻译
看到Adam的算法，具体写法有些差异。原理大致一样。先翻译下意思--------------------------------------------------算法1：Adam,我们的随机优化推荐算法。更高效（但略不明白）的计算次序，具体见第2部分。代表元素层面的平方。对已测试过的机器学习问题的较好的默认设置是=0.001,=0.9,=0.999,。所有的矩阵操作都...
2019-06-27 15:36:43
575
原创 AdaGrad 与 SGD的比较
optimizer=SGD(0.88)optimizer=AdaGrad(0.88)可以看出，用AdaGrad方法，使得学习路径比较平缓，更快速地到达梯度最小点# -*- coding: utf-8 -*-"""Created on Tue Jun 25 09:04:14 2019@author: Administrator"""import...
2019-06-27 10:23:52
1133
原创 momentum 与 sgd 的图像比较
momentum:v的形状与params[key] 相同，与grads[key]相同。v[key] = momentum*v[key] - lr*grads[key]params[key] += v[key]当momentum=0时，就是SGDoptimizer=Momentum(0.8,0)#相当于sgd,可以看到有多之字形震荡：optimizer=...
2019-06-26 21:37:08
1138
原创 python 求偏导数 调用偏导数函数的输入
求偏导数函数如numerical_gradient(f,x) 是根据来求得的。它的输入x ,可以是1维的，也可以是多维的。比如求x=np.array([1])处的偏导数比如求x=np.array([1.0,2.0,3.0])处的偏导数比如求x=np.array([[1.0,2.0,5.0],[3.0,4.0,6.0]]) 是2*3矩阵，求x处的偏导数...
2019-06-26 09:37:03
11263
原创 SGD 的缺点
为什么说SGD有缺陷，呈现之字形，是因为图像的变化并不均匀，所以y方向变化很大时，x方向变化很小，只能迂回往复地寻找，效率很低。怎么画出来的？设计了个实验，显示出SGD的这个特征：函数用SGD方法来循环学习，找到（x,y）,使得f最小。图像输出，使用的是从（-5，-5）点开始出发的，循环opt_num次后，画出图形如下，含义为，从（x=-5，y=-5）点，往最终（...
2019-06-25 16:37:37
2820
原创 二层神经网络 图示
二层神经网络图解反向误差传播法：其中Affine层如下： 其中dot 为矩阵乘法其中，Softmat-with-Loss层，把softmax 函数和 cross_entropy_error函数合一起来考虑：sigmoid函数的反向传播：...
2019-06-23 15:33:27
1441
原创 梯度 方向导数 解析
利用偏导数计算方向导数其中梯度定义：gradf =梯度是向量。方向导数=梯度*单位向量方向导数是数值， 梯度和单位向量相乘，是向量点积（参见前面的图）。方向导数 = cos(θ) × 梯度，因此，所有的下降方向中，梯度方向下降最多。θ为方向导数所取方向与梯度的夹角。举例说明：z=f(x,y) 在(x0,y0)处的梯度为（3，4）...
2019-06-20 15:37:23
12152
2
原创 科学计数法符号e 自然常数e
在科学计数法中，为了使公式简便，可以用带“E”的格式表示。例如1.03乘10的8次方，可简写为“1.03E+08”的形式自然常数，是数学中一个常数,是一个无限不循环小数，且为超越数,其值约为2.71828。python中 exp() 方法返回x的指数...
2019-06-20 09:36:44
7067
原创 mini-batch 版交叉熵误差的实现
https://blog.csdn.net/weixin_43114885/article/details/903789144.2.4 mini-batch 版交叉熵误差的实现one-hot格式的监督数据def cross_entropy_error(y, t): if y.ndim == 1: #一维数组要把第一维放到第二维，表示只有一条数据 t =...
2019-06-19 20:45:49
2189
8
原创 数字识别中预测值和标签值的比较
import numpy as np#y 代表3*10的数组，实际意义，3行，每行是0~9的取值概率y=np.array([[0.1,0.1,0,0,0.8,0,0,0,0,0], [0.1,0.1,0,0,0.1,0.7,0,0,0,0], [0.1,0,0,0,0,0,1,0,0,0]])t=np.array([4,6,6]) #t为比对数...
2019-06-19 14:46:53
2019
原创 文件读写
with open(r'C:\test.txt','r') as f:print(f.read())二进制with open(r'C:\123.txt','rb') as f: print(f.read())with open(r'C:\Users\Administrator\Desktop\123.txt','w') as f: print(f.wri...
2019-06-19 13:44:08
79
原创 打开图片
import matplotlib.pyplot as pltfrom matplotlib.image import imreadimg=imread('C:/123.jpg')plt.imshow(img)plt.show()
2019-06-19 13:28:09
255
原创 用随机数生成数组 randn标准正态分布 随机数
print(np.random.randn(2,3))标准正态分布又称为u分布，是以0为均数、以1为标准差的正态分布，记为N（0，1）。x=np.random.randn(1000)print(x)avr=np.sum(x)/x.size #均值print(avr)print(np.sum((x-avr)**2)/x.size) #方差x=np.random....
2019-06-19 13:27:02
2735
原创 二维数组输出图片
import numpy as npimport matplotlib.pyplot as pltfrom PIL import Imagedef img_show(img): pil_img=Image.fromarray(np.uint8(img)) pil_img.show() tt=np.zeros((280,280))print(tt.ndim)pr...
2019-06-19 12:39:36
2177
原创 e 的近似值
import numpy as npimport matplotlib.pyplot as pltn=np.arange(1,100,1)y=np.power(1+1/n,n)plt.plot(n,y,label="(1+1/n)^n")plt.title("e")plt.legend()plt.show()
2019-06-18 10:48:00
2498
原创 一些数学常识
e是自然对数的底数，是一个无限不循环小数，其值是2.71828...，它是这样定义的：当n→∞时，(1+1/n)^n的极限对数和指数互为逆运算在乘方y=a^x中，其中的a叫做底数，x叫做指数，结果y叫幂。如果a^y=x，那么log(a)(x)=y。其中，a叫做“底数”，x叫做“真数”，y叫做“以a为底的x的对数”log(a)(x)函数叫做对数函数。对数函数中x的定义...
2019-06-18 10:09:47
1133
原创 Softmax-with-Loss 层（Softmax 函数和交叉熵误差）的计算说明
https://blog.csdn.net/weixin_43114885/article/details/90478622笔记(八)，其中Softmax-with-Loss 层（Softmax 函数和交叉熵误差）的计算图如下：其中Softmax 函数（笔记四）可以减去输入的最大值来防止溢出a = np.array([1010, 1000, 990])y=np.ex...
2019-06-13 14:46:15
1769
原创 Java EE 开发环境搭建练习
参考文章：https://blog.csdn.net/HanTangSongMing/article/details/19479751修改其中：执行命令mvn cleancompile编译构建例程>D:\software\apache-maven-3.5.2\bin\mvn clean compile
2018-06-01 13:51:25
866
原创 ActiveMQ 练习
参考资料：https://blog.csdn.net/jiuqiyuliang/article/category/5617711其中第二，三篇。基本直接按照参考文章可以一步步进行下去，唯一另查的是：启动 打开cmd，进入到%ACTIVEMQ_HOME%\bin目录下，使用命令： activemq start //打开服务win10使用JDK1.8.0_17...
2018-05-31 14:36:02
151
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人