![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
Womeng_qin
这个作者很懒,什么都没留下…
展开
-
RNN循环神经网络基础
当样本具有空间的局部相关性,卷积神经网络大大减少网络参数量的依靠:局部相关性、权值共享当样本具有时间的局部相关性:循环神经网络序列表示方法信号能用标量数值表示shape 为[b,s] (b:样本数,s:样本长度)信号不能简单的标量表示shape 为[????,????,????] (f:某一个时间戳上的特征)Word embedding:one-hot 的编码方式实现但是 one-hot 编码...原创 2020-04-02 10:51:45 · 154 阅读 · 0 评论 -
tensorflow基础知识(一)
目录数据类型数值类型字符串类型布尔类型数值精度待优化张量从 Numpy, List 对象创建快速创建定制张量创建序列索引与切片索引切片维度变换reshape增删维度数据类型数值类型Database :Scalar–>Vector–>Matrix–>TensorDimension :0–>1–>2–>2+shape :[]–>[n]–>[n...原创 2020-03-22 11:42:01 · 211 阅读 · 0 评论 -
卷积神经网络
目录专业词汇概述专业词汇是卷积神经网络(Convolutional Neural Network,CNN)卷积层(Convolution层)池化层(Pooling层)全 连接(fully-connected)概述原创 2020-03-19 23:06:03 · 189 阅读 · 0 评论 -
参数更新方法的讨论
专业词汇随机梯度下降法(stochastic gradient descent)非均向(anisotropic)学习率衰减(learning rate decay)RMSProp(Root Mean Square Prop)前面所用的根据梯度下降来寻找最优解的方法为 “ 随机梯度下降法 ” 简称SGDSGD的缺点有很多地方的梯度是局部点的下降最快,并不指向全局最小解SGD成“之...原创 2020-03-17 23:43:20 · 296 阅读 · 0 评论 -
梯度下降(反向传播)python实现
目录数值分析的方法虽然简单但计算量过大,相较之下,BP更加高效原创 2020-03-17 15:06:03 · 568 阅读 · 0 评论 -
梯度下降(数值分析)python实现
目录基础知识微分偏导梯度梯度法基础知识微分数值微分:利用微小的差分求导数的过程解析性求导:而基于数学式的推导求导数的过程用数值微分来求导有缺陷的程序表达def numerical_diff(f, x): h = 10e-50 return (f(x+h) - f(x)) / h舍入误差:因省略小数的精细部分的数而造成最终的计算结果上的误差,太小就很容易被...原创 2020-03-17 10:47:19 · 2868 阅读 · 0 评论 -
损失函数python实现
损失函数概述为什么用损失函数不用识别精度改变权值引起的识别精度的变化是离散的,没有权重更新的方向,只是单纯的改变参数,并没有学习识别精度对微小的参数变化基本上没有什么反应如果使用阶跃函数作为激活函数,神经网络的学习将无法进行。 参数的微 小变化会被阶跃函数抹杀,sigmoid函数的优势(平滑性)就在这里常见的损失函数求损失函数时的标签需要时onehot格式的均方误差def me...原创 2020-03-16 21:32:27 · 1176 阅读 · 0 评论 -
MINIST手写识别(前向传播的python实现)
数据集的读取以“(训练图像,训练标签),(测试图像,测试标签)”的形式读入的MNIST数据import sys, os sys.path.append(os.pardir) # 为了导入父目录中的文件而进行的设定 from dataset.mnist import load_mnist(x_train, t_train), (x_test, t_test) = load_mnist(f...原创 2020-03-16 20:13:59 · 386 阅读 · 0 评论 -
激活函数python实现
目录概述常见激活函数阶跃函数sigmoid函数ReLU函数比较概述激活函数必须是非线性函数线性函数的问题在于,不管如何加深层数,总是存在与之等效的“无隐藏层的神经网络”,无法了发挥叠加层所带来的优势h(x) = cx作为激活函数,把y(x) = h(h(h(x)))的运算对应3层神经网络A,但他又等价于y(x) = ax( a = c 3)常见激活函数阶跃函数普通阶跃函数d...原创 2020-03-15 19:34:34 · 1097 阅读 · 0 评论 -
神经网络一般架构(BP)
目录专业词汇1.神经网络概述2.简单的神经网络感知机多层网络3.误差逆传播算法输出层&输入层神经元个数损失函数反向梯度分配专业词汇 神经网络(neural networks) 神经元(neuro) "阈值" (threshold) "激活函数" (activation function) "挤压函数" (squashig ...原创 2020-03-14 11:07:25 · 2121 阅读 · 0 评论 -
神经网络基础
目录专业词汇从“线性分类”看基础概念这里的线性分类&逻辑回归的区别损失函数基础损失函数正则化softmax分类器梯度下降反向传播反向传播&前向传播区别反向传播更新权重参数的原理三种典型的计算环节神经网络专业词汇从“线性分类”看基础概念这里的线性分类&逻辑回归的区别”逻辑回归&线性回归“ 只有一套参数,”预测行为“是一套参数对某样本的预测值进行分类,”线性...原创 2020-03-12 17:50:04 · 228 阅读 · 0 评论