- 博客(6)
- 收藏
- 关注
RSS订阅原创 Tensorflow使用预训练模型时预测时BN层的问题
这是今晚同学在答疑群群提到的一个问题。问题表现为模型训练时表现很好，之后在测试数据上表现很差，和预期的差距很大。这是tensorflow的BN层带来的一个问题， 对于BN层，在训练时，是对每一批的训练数据进行归一化，也即用每一批数据的均值和方差。而在测试时，比如进行一个样本的预测，就并没有batch的概念，因此，这个时候用的均值和方差是全量训练数据的均值和方差，这个可以通过移动平均法求得。如果待预测的图片分布与训练图片的分布有大的差别时，直接使用训练数据的均值和方差可能会导致预测结果准确率比较糟糕。
2020-06-02 15:16:09
1434
原创 tensorflow和keras中的一些等价写法
tensorflow和keras答疑过程中，一个常见问题model = keras.models.Sequential()model = keras.Sequential() 这两个一个样吗？类似的还有 tf. keras. layers. Input和tf. keras. Input，以及tf. keras. layers. Maxpooling2D和Maxpool2D以及tf. keras. model. Model和tf. keras. Model等等。解答：其实这些写法是完全等价的
2020-06-01 17:58:56
245
原创 最新版tensorflow 2.2 的最简洁安装
目前，tensorfow 2.2 正式版已经发布，我们简单来看一下， tensorflow 2.2 最新版的安装。首先要明确你希望安装CPU版本还是GPU版本？安装GPU版本需要你有nvidia的算力大于3.5的显卡。如果安装 CPU版本，分两步：第一步，升级 pip 版本。 python -m pip install --upgrade pip第二步，使用豆瓣源安装： pip install tensorflow-cpu==2.2.0 -i https://pypi.douba
2020-05-22 12:35:08
2738
1
原创 Tensorflow使用中最常见的错误——distributed 显存错误
在Tensorlfow课程答疑过程中，一个很常见的错误就是显存分配错误。常常会包含如下的错误提示：Interal Error：Blas GEMM launch failed.这个错误是GPU显存分配错误，也就是说显存不足造成的。这里有两种情况，第一，你的数据很小，却产生这个报错。这是由于 Tensorflow 默认申请可使用的全部显存，当tensorflow程序运行会话却没有关闭会话释放资源的时候，就会出现此错误，尤其是使用 jupyter notebook 的时候。可使用 nvidia-s
2020-05-21 09:44:42
468
原创 解决过拟合的最终方法
今天有同学提问：老师，用预训练网络过拟合，微调，降低学习率以后，还是过拟合。训练集在0.99或者1，测试集在0.95上不去了，测试集的loss也大得多。还有什么方法能再提高测试集的准确率或者减小过拟合吗？这里可以看到这位同学已经探索了一些方法，可以继续使用dropout和正则化来抑制过拟合问题，但是解决过拟合最终的方法仍然是使用更多的训练数据。过拟合的本质是模型对于train数据分布不能代表全部数据的分布，假设train数据足够多甚至囊括了全部数据的话，模型就会学习到所有数据的表达，而不会在test上
2020-05-20 09:25:55
831
原创 Keras中当Loss和Metrics定义都是mse时，为什么显示不同？
Keras中当Loss和Metrics定义都是mse时，为什么显示不同？这个问题不少细心的同学都有发现，我们感觉，既然loss和metrics都是一样的计算方法时，为什么会不同呢？实际上，造成这个微小差异的原因在于，模型评价的时候（metrics的结果）是模型训练完一个批次后，对这个批次做的评价。而显示的loss却是在训练过程中的这个批次样本产生的loss的均值。来自 日月光华课程答疑《Tensorflow深度学习入门与实战》...
2020-05-20 09:23:33
2245
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人