Neural Networks
文章平均质量分 52
moses1994
Ghent CS 博士在读
展开
-
RuntimeError: cuda runtime error (59) : device-side assert triggered
问题在训练 Transformer 的过程中,pytorhc出现的问题:RuntimeError: cuda runtime error (59) : device-side assert triggered at C:/w/1/s/tmp_conda_3.6_155139/conda/conda-bld/pytorch_1565366019852/work/aten/src\THC/THCReduceAll.cuh:327具体报错如下C:/w/1/s/tmp_conda_3.6_155139原创 2021-03-23 04:52:37 · 614 阅读 · 0 评论 -
训练U-net时loss出现负值
原因:没有对作为标签的的图像矩阵做归一化,导致标签的图像矩阵其取值范围不在[0, 1]之间。原因解释可见:tf.nn.sigmoid_cross_entropy_with_logits出现负数原文链接:http://blog.sina.com.cn/s/blog_6ca0f5eb0102xjxd.htmltf.nn.sigmoid_cross_entropy_with_logits使用这个loss函数,出现loss出现负数的情况,在理论情况下,这个函数应该是不会存在负数的情况,查看这个函数的原创 2020-07-22 16:57:40 · 8066 阅读 · 0 评论 -
深度学习神经网络 随笔记
深度炼丹入坑许久,记录一些过程中遇到的问题,不定时更新。NO FREE LUNCH定理:如果不考虑具体问题,所有的算法都是随机猜测,没有好坏之分。1、训练数据集shuffle的作用在将训练数据送入网络之前,一般均会对数据集做shuffle,打乱数据之间的顺序,让数据随机化,这样可以避免过拟合。如果不shuffle,模型短期时间内可能会连续遇见到A类型样本,可能会出现过拟合,而另一段时间内又过拟合于B类型样本,忘记之前学习到的A样本,这样的模型泛化能力必然很差。那如果A和B样本一直交替,还会.原创 2020-05-20 15:09:14 · 317 阅读 · 0 评论 -
深层神经网络结构及可能存在的致命问题详解
线性回归是用于数据拟合的常规手段,其任务是优化目标函数:h(θ)=θ+θ1x1+θ2x2+....θnxn线性回归的求解法通常为两种:①解优化多元一次方程(矩阵)的传统方法,在数值分析里通常被称作”最小二乘法",公式θ=(XTX)−1XTY②迭代法:有一阶导数(梯度下降)优化法、二阶导数(牛顿法)。方程解法局限性较大,通常只用来线性数据拟合。而迭代法直接催生了用于模式识别的神经网络诞生。转载 2017-08-11 15:53:29 · 10537 阅读 · 1 评论 -
详细解读神经网络十大误解,再也不会弄错它的工作原理
神经网络是机器学习算法中最流行和最强大的一类。但在作者看来,因为人们对神经网络工作原理存在误解,导致网络设计也很糟糕。所以这篇文章就对其中一些误解进行了讨论。神经网络是机器学习算法中最流行和最强大的一 ...转载 2017-08-11 16:33:40 · 1089 阅读 · 0 评论 -
对线性回归、逻辑回归、各种回归的概念学习
刚想写一下线性回归与逻辑回归之间的差异,结果看到了一篇神文,感到再写也没有什么新意,随转载。原文地址: http://blog.csdn.net/viewcode/article/details/8794401回归问题的条件/前提:1) 收集的数据2) 假设的模型,即一个函数,这个函数里含有未知的参数,通过学习,可以估计出参数。然后利用这个模型去预测/分类新转载 2018-01-20 08:52:13 · 359 阅读 · 0 评论