深度学习
Mr.Jcak
这个作者很懒,什么都没留下…
展开
-
keras的验证损失val_loss不减反增和验证准确率val_accuracy不增反减
换一种优化器或调整学习率原创 2020-09-21 10:26:13 · 1901 阅读 · 0 评论 -
一维和二维卷积和池化
一维卷积的卷积核是二维的,二维卷积的卷积核是三维的(因为卷积要考虑深度,即通道数)例如输入数据为(128,32,28,28),128为batch size,32为channel,28和28是hight和width,如果采用二维卷积,卷积核大小为5*5,则实际上卷积核大小为32*5*5。如果输入数据为(128,32,28),128为batch size,32为channel,28是width,如果采用一维卷积,卷积核大小为5,则实际上卷积核大小为32*5。一维池化的池化核是一维的,二维池化的池化核是二原创 2020-07-24 11:59:30 · 3307 阅读 · 0 评论 -
Relu神经网络输出预测全为0或1,对所有输入样本的预测概率也相同
现有一个神经网络,除了输出层外,其它所有层均使用Relu激活函数,但是训练过程中发现,每次训练完成后,它对所有的输入样本都输出一样的预测概率,比如二分类,对所有样本的预测概率都是[0.4,0.6]。由于对所有的样本的预测概率一样,因此预测标签也都一样,全预测为0/1。一开始以为是不是网络结构搭建有问题,因为当网络参数固定后,不同的输入样本的输入数据不一样,那么输出的预测概率肯定不一样,怎么会全输出一样的概率。然后一层一层找原因,发现某一卷积层的输出值全为0。经过分析,该层使用的是Relu激活函数,而且该原创 2020-05-17 15:30:34 · 16654 阅读 · 2 评论 -
神经网络中Batch和Epoch之间的区别
来自蜂口知道公众号随机梯度下降法是一种具有大量超参数的学习算法。通常会使初学者感到困惑的两个超参数: Batch大小和Epoch数量,它们都是整数值,看起来做的事情是一样的。在这篇文章中,您将发现随机梯度下降中Batch和Epoch之间的差异。阅读这篇文章后,你会知道:· 随机梯度下降是一种迭代学习算法,它使用训练数据集来更新模型。· 批量大小是梯度下降的超参数,在模型的内...转载 2018-11-19 13:21:51 · 3797 阅读 · 0 评论 -
常用的损失函数
来自 机器学习成长之路公众号本文将常用的损失函数分为了两大类:分类和回归。然后又分别对这两类进行了细分和讲解,其中回归中包含了一种不太常见的损失函数:平均偏差误差,可以用来确定模型中存在正偏差还是负偏差。从学习任务的类型出发,可以从广义上将损失函数分为两大类——回归损失和分类损失。在分类任务中,我们要从类别值有限的数据集中预测输出,比如给定一个手写数字图像的大数据集,将其分为 0~9 中的...转载 2018-11-19 13:30:50 · 6947 阅读 · 0 评论 -
机器学习中的相似性度量总结
来自 机器学习算法那些事公众号在做分类时常常需要估算不同样本之间的相似性度量(Similarity Measurement),这时通常采用的方法就是计算样本间的“距离”(Distance)。采用什么样的方法计算距离是很讲究,甚至关系到分类的正确与否。目录1. 欧氏距离2. 曼哈顿距离3. 切比雪夫距离4. 闵可夫斯基距离5. 标准化欧氏距离6. 马氏距离7. 夹...转载 2018-11-19 13:44:05 · 262 阅读 · 0 评论 -
TensorFlow实现简单的卷积网络
使用的数据集是MNIST,下载方法见之前的博客from tensorflow.examples.tutorials.mnist import input_dataimport tensorflow as tfmnist = input_data.read_data_sets(r"D:\PycharmProjects\tensorflow\MNIST_data", one_hot=True...原创 2018-11-22 11:18:17 · 189 阅读 · 0 评论 -
TensorFlow实现单隐层神经网络
这里使用MNIST数据集,MNIST数据集的下载地址http://yann.lecun.com/exdb/mnist/from tensorflow.examples.tutorials.mnist import input_dataimport tensorflow as tfmnist = input_data.read_data_sets(r"D:\PycharmProjects\...原创 2018-11-17 11:00:54 · 464 阅读 · 0 评论 -
深度学习需要注意的11个方面
转自https://blog.csdn.net/u014365862/article/details/77961624如果你的神经网络不工作,该怎么办?本文作者列举了搭建神经网络时可能遇到的11个常见问题,包括预处理数据、正则化、学习率、激活函数、网络权重设置等,并提供解决方法和原因解释,是深度学习实践的有用资料。如果你的神经网络不工作,该怎么办?作者在这里列出了建神经网络时所有可能做错的...转载 2019-02-18 11:20:26 · 1007 阅读 · 0 评论