![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
一些小模块实现
文章平均质量分 71
Shijunfeng00
退役OIer,现计算机从业人员,主要做一些简单的AI落地项目,对量化交易感兴趣,也对区块链底层技术比较感兴趣
展开
-
如何在tensorflow/keras上实现warmup学习率策略代码示例
Warmup策略Warmup为什么有效?这个问题目前还没有被充分证明,我们只能从直觉上和已有的一些论文[1,2,3]得到推测:有助于减缓模型在初始阶段对mini-batch的提前过拟合现象,保持分布的平稳有助于保持模型深层的稳定性可以认为,刚开始模型对数据的“分布”理解为零,或者是说“均匀分布”(当然这取决于你的初始化);在第一轮训练的时候,每个数据点对模型来说都是新的,模型会很快地进行数据分布修正,如果这时候学习率就很大,极有可能导致开始的时候就对该数据“过拟合”,后面要通过多轮训练才能拉回来,原创 2020-05-29 15:18:13 · 4409 阅读 · 7 评论 -
在语义分割中数据增强的正确打开方式(tf.data)
通过一系列的随即翻转随机旋转随机剪裁随机亮度调节随机对比度调节随机色相调节随机饱和度调节随机高斯噪声让数据集变得更强大!class Parse(object): ''' callable的类,返回一个进行数据解析和数据增强的仿函数 使用示例: def make_dataset(self,batch_size,output_shape,argumentation=False,buffer_size=4000,epochs=None,shuffle=True):原创 2020-05-13 16:07:19 · 842 阅读 · 0 评论 -
Warmup学习率策略Tensorflow的实现:
def exponential_decay_with_warmup(warmup_step,learning_rate_base,global_step,learning_rate_step,learning_rate_decay,staircase=False): with tf.name_scope("exponential_decay_with_warmup"): line...原创 2020-01-29 05:38:00 · 2789 阅读 · 12 评论 -
FRN归一化层(Tensorflow)实现
由Google发布,据说效果超越BN不过似乎没有找到什么测评之类的我也暂时没有认真测试,单从FRN结构来看计算量似乎比BN小,网络跑得比用BN快很多然后可学习的部分挺多的……(所有参数都是可学习的,不过eps也可以用定制1e-6)从最终模型测试集准确率上来看似乎没有BN层高,当然可能是我初始化参数的问题也可能是学习率问题,BN对学习率不怎么敏感,我很大胆的改到了0.1都能正常收敛回头调...原创 2020-02-02 01:44:53 · 964 阅读 · 0 评论 -
一个tensorflow多线程读入数据和数据增强的框架:
总是跑cifar10 mnist啥的,其他数据集还是跑一跑把闲着没事把数据读取部分重写了一遍代码比以前要更加通用一点考虑到大部分数据集都可以有一下的储存形式(我把cifar10图片也像这样分类了)写了一个较为通用的数据读取和预处理的class在处理之前会转化为TFRecord并放在TFRecord文件夹内,这个步骤会对图片resize(本地图片大小随意)图片统一mode为RGB...原创 2020-02-12 01:50:14 · 628 阅读 · 0 评论 -
用几行代码将MNIST数据集图片提取并分类存放
#inputs dateimport osimport numpy as npimport matplotlibimport matplotlib.pyplot as pltimport tensorflow.examples.tutorials.mnist.input_data as input_datamnist_path="D:\\log\\MNIST"save_path="D...原创 2020-02-23 03:18:50 · 1049 阅读 · 0 评论 -
Tensorflow图像分类数据集读取处理和分批次的代码通用框架(tf.data APIs)
数据集有很多,但我希望能有一个通用的框架来一劳永逸不知道tf自己有没有,我似乎是没找到花了半天来写了一个看起来比较通用的框架,顺便加了点进度条和提示用语要求数据集的结构是一个文件夹内有train和test两个文件,内部每个类别一个文件夹,文件夹内是图片数据应该大部分都是这么结构把其他的遇到再说import tensorflow as tffrom PIL import Image ...原创 2020-02-23 14:07:31 · 835 阅读 · 3 评论