![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
TransientYear
凑个32块的整
展开
-
Xavier initialization 理解与实现(python 与 C)
文章目录初始化原因基本思想caffe 下的 xavier 实现Glorot & Bengio xavier 实现简单推导初始化原因具体的初始化原因可以关注这篇博客-浅谈深度学习初始化参数。基本思想基本思想是保持输入和输出的方差一致,这样就避免了所有输出值都趋向于0。注意,为了问题的简便,其推导过程是基于线性函数的,但是它在一些非线性神经元中也很有效。caffe 下的 xavier...原创 2019-11-05 13:11:42 · 2669 阅读 · 1 评论 -
深度学习 softmax 函数的C语言和python实现
文章目录Softmax函数数字过大导致溢出问题解决python 实现C语言实现Softmax函数softmax 在深度学习分类任务中常被用于最后一层输出每个类别的概率,其公式如下:σ(z)j=ezj∑k=1Kezzk\sigma(z)_j = \frac{e^{z_j}}{\sum_{k=1}^{K}e^{z^{z_k}}}σ(z)j=∑k=1Kezzkezjzj z_...原创 2019-10-28 16:48:17 · 1038 阅读 · 7 评论 -
softmax激活+crossEntropy损失求导公式推导
文章目录原创 2019-08-19 10:03:17 · 2649 阅读 · 1 评论 -
理解 LSTM 网络
理解 LSTM 网络递归神经网络(RNN)长期依赖性问题LSTM 网络LSTM 核心想法逐步解析 LSTM 的流程长短期记忆的变种结论鸣谢递归神经网络(RNN)Recurrent Neural Networks人类并不是时刻都从头开始思考。如果你阅读这篇文章,你是在之前词汇的基础上理解每一个词汇,你不需要丢掉一切从头开始思考。你的思想具有延续性。传统的神经网络无法做到这样,并且这成为了...翻译 2019-06-26 14:53:57 · 4107 阅读 · 0 评论 -
tensorflow 2.0 实战-mnist 手写全连接
3.6 张量前向传播向前传播计算误差计算梯度更新梯度完整代码及注解我们已经学到:tensor 创建索引和切片reshape and broadcasting数学操作实战前向传播:out=relu{relu{relu{X@W1+b1}@W2+b2}@W3+b+3}out = relu\{relu\{relu\{X@W_1+b_1 \}@W_2+b_2 \}@W_3+b+3\}ou...原创 2019-04-17 11:35:04 · 2297 阅读 · 0 评论 -
AE(Autoencoder)详解 (pytorch实现)
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Ma...原创 2019-03-27 18:23:35 · 13225 阅读 · 5 评论 -
tensorflow 2.0 实战-Minst
2. 手写字体识别数据载入搭建全连接网络计算输出和 Loss计算梯度与回传Loop数据载入import osimport tensorflow as tffrom tensorflow import kerasfrom tensorflow.keras import layers, optimizers, datasetsos.environ['TF_CPP_MIN_LOG_LEVE...原创 2019-04-12 11:52:12 · 1935 阅读 · 2 评论 -
PyTorch 卷积神经网络
8. 卷积神经网络卷积卷积神经网络notationmulti-KernelLeNet-5卷积层的作用效果nn.Conv2dF.conv2d池化层poolingupsampleReLubatch norm使用原因feature scaleimage NormlizationBatch Normlization使用效果使用优势经典的神经网络ImageNet dataset 224x224LeNet-5...原创 2019-04-11 16:06:37 · 657 阅读 · 0 评论 -
PyTorch 深度学习的技巧
7. 深度学习的技巧过拟合与欠拟合欠拟合过拟合交叉验证数据划分K-flod 交叉验证正则化奥卡姆剃刀原理防止过拟合的方法正则化L1范数L2范数动量与学习率衰减动量学习率衰减提前停止更新与 dropout提前停止更新dropout过拟合与欠拟合欠拟合模 型 简 单 , 表 达 能 力 不 够 , 导 致 欠 拟 合.过拟合现 实 生 活 中 更 多 地 是 过 拟 合 , 模 型 表 ...原创 2019-04-11 12:16:33 · 1299 阅读 · 0 评论 -
PyTorch 数据归一化与反归一化
文章目录数据归一化除最大值法MinMaxScaler均值和标准差反归一化数据归一化除最大值法def read_and_normalize_train_data(): train_data, train_label = load_train() print('Convert to numpy...') train_data = np.array(train_data...原创 2019-04-11 11:12:47 · 82210 阅读 · 18 评论 -
PyTorch 多层感知机与分类器 实战-Minst
6. 多层感知机与分类器逻辑回归交叉熵逻辑回归对于逻辑回归我们不能直接最大化 accuracy。• acc.=I(pred i ==y i )len(Y )• grad 出现等于零的情况。• grad 不连续。为什么叫 regression。• MSE−− >regression.• cross entropy−− >classification.多类:• 实...原创 2019-04-10 17:11:48 · 3464 阅读 · 0 评论 -
感知机 MLP 梯度反向传播详细推导
5. 感知机梯度传播推导单一输出感知机多输出感知机链式法则MLP 反向传播推导2D 函数优化实例单一输出感知机x = torch.randn(1, 10)w = torch.randn(1, 10, requires_grad=True)o = torch.sigmoid(x@w.t())o.shape #torch.Size([1, 1])loss = F.mse_loss(to...原创 2019-04-10 16:42:43 · 5685 阅读 · 0 评论 -
PyTorch 随机梯度下降
4. 随机梯度下降梯度常见函数的梯度激活函数Loss 损失函数的梯度梯度导数 (标量)偏微分 (函数延某个方向的变换量 标量)梯度 (函数变化量最大的方向 向量)梯度的意义:模为变换率大小,矢量方向。如何求取最小值:梯度下降θt+1=θt−αt∇f(θt)\theta_{t+1} = \theta_t-\alpha_t\nabla f(\theta_t)θt+1=θt−αt...原创 2019-04-10 15:45:37 · 2074 阅读 · 0 评论 -
PyTorch 张量高阶操作
3. 张量高阶操作Broadcast 机制Tensor 分割与合并Tensor 运算Tensor 统计Tensor 高阶操作Broadcast 机制Broadcast (expand+withoutcopying) [广播机制]关键步骤:Insert 1 dim ahead (unsqueeze)Expand dims with size 1 to same sizeFeature...原创 2019-04-10 14:48:12 · 1754 阅读 · 0 评论 -
PyTorch 张量操作
2. pytorch 张量操作基本数据类型创建 tensor索引与切片tensor 维度变换基本数据类型pytorch 数据类型对比PyTorch 是面向数值计算的 GPU 加速库,没有内建对 str 类型的支持。one-hot [0,1,0,0,···]Embedding(常用的编码语言[NLP])word2vecglovePyTorch 内建的数据类型...原创 2019-04-10 13:49:28 · 5327 阅读 · 0 评论 -
PyTorch 简介
1. PyTorch 简介主流深度学习框架两类深度学习框架的优缺点使用深度学习框架的优点PyTorch 的特点主流深度学习框架两类深度学习框架的优缺点动态图(PyTorch)计算图的进行与代码的运行时同时进行的。静态图(Tensorflow <2.0)自建命名体系自建时序控制难以介入使用深度学习框架的优点GPU 加速 (cuda)自动求导常用网络层的A...原创 2019-04-10 13:17:10 · 2907 阅读 · 0 评论