![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
Donald Su
公众号:"Donald Su",微:sug2010
展开
-
运行TensorFlow报错ResourceExhaustedError: OOM when allocating tensor with shap * and type float *
1. 问题描述运行代码时,程序异常退出,查看有如下日志:ResourceExhaustedError (see above for traceback): OOM when allocating tensor with shape[10,17,17,192] and type float on /job:localhost/replica:0/task:0/device:GPU:0 by al...原创 2019-08-17 12:12:47 · 12895 阅读 · 4 评论 -
常见激活函数 & 激活函数选择方法
文章目录1、sigmoid函数2、符号函数激活函数作用在更前面,损失函数是针对神经网络的输出进行评估,已经不在神经网络中了。将输入信号的总和转换为输出信号,这种函数 一般称为激活函数(Activation Function)。激活函数的作用在于决定如何来激活输入信号的总和。以输出层中第一个输出为例,1、sigmoid函数函数公式:h(x)=11+e−xh(x)=\frac{1}{1...原创 2019-09-26 22:21:43 · 674 阅读 · 0 评论 -
【待完善另一种情况】tensorflow 使用CPU而不使用GPU的问题解决
文章目录1. 问题2. Solution3. other4. 参考:1. 问题今天运行代码时发现一个怪现象,在使用TensorFlow时,通过os.environ["CUDA_VISIBLE_DEVICES"] = "0"指定使用GPU 0,但是使用nvidia-smi命令查看GPU的使用情况时,发现还是没有使用GPU,而是使用的CPU进行计算,导致计算速度非常慢,跑了一个晚上,才跑出来一点点...原创 2019-12-10 11:23:32 · 2521 阅读 · 0 评论 -
深度学习中一些比较好的实践方法 -更新ing
始终在训练完成后保存模型,这是一种良好实践。model.save('cats_and_dogs_small_1.h5')原创 2019-09-02 11:24:10 · 223 阅读 · 0 评论 -
Python深度学习-U2:神经网络的数学基础
理解深度学习,需要熟悉很多简单的数学概念:张量、张量运算、微分、梯度下降等。本章就是建立对这些概念的直觉。MNIST数据集 包括 60 000张训练图片和 10 000张测试图像,解决 MNIST问题是深度学习的“Hello World”。神经网络的核心组件是层(layer),是一种数据处理模块,可以看成数据过滤器。进去一些数据,处理的数据变得更加有用。大多数深度学习都是将简单的层链接起来...原创 2019-09-02 17:59:15 · 616 阅读 · 0 评论 -
Python深度学习-u4.1:分类和回归术语表
分类和回归都包含很多专业术语,这些术语在机器学习领域都有确切的定义,本文对常见术语进行整理。样本(sample)或输入(input):进入模型的数据点。预测(prediction)或输出(output):从模型出来的结果。目标(target):真实值。对于外部数据源,理想情况下,模型应该能够预测出目标。预测误差(prediction error)或损失值(loss va...原创 2019-09-04 15:28:29 · 337 阅读 · 0 评论 -
Python深度学习-u3.1:神经网络入门-理论
本章开始使用神经网络来解决实际问题,介绍三个问题的解决方法,以及神经网络的核心组件。1. 神经网络剖析【第二章】已经介绍了,训练神经网络主要围绕以下四个方面:层,多个层组合成网络(或模型)。输入数据和相应的目标。损失函数,即用于学习的反馈信号。优化器,决定学习过程如何进行。这四者的关系为:1. 层:深度学习的基础组件层是一个数据处理模块,将一个或多个输入张量转换为...原创 2019-09-04 16:24:03 · 639 阅读 · 0 评论 -
[论文分享]-通过输入多样性提高对抗样本的迁移性(Improving Transferability of Adversarial Examples with Input Diversity)
CNN在视觉任务中已经取得了非常好的效果,但在面对对抗样本时,却显得非常脆弱。但现有的大多数对抗样本攻击方法,在黑盒攻击设置下,只能实现较低成功率。此次分享介绍了如何通过输入多样性来提高对抗样本的可移植性,产生对于白盒攻击、黑盒攻击成功率都高的对抗样本。原创 2019-09-15 17:53:04 · 4417 阅读 · 3 评论 -
常见损失函数 & 损失函数选择方法
文章目录0. 定义1. 均方误差2. 交叉熵误差3. mini-batcg中的损失函数神经网络的学习通过某个指标表示现在的状态,然后以这个指标为基准,寻找最优权重参数,这个指标就是损失函数(loss function)。如上介绍,神经网络损失函数(loss function)也叫目标函数(objective function)的作用:衡量神经网络的输出与预期值之间的距离,以便控制、调节参...原创 2019-09-26 22:15:59 · 7664 阅读 · 0 评论