深度学习框架
pytorch、tensorflow、keras相关
joyce_peng
哈哈哈哈
展开
-
nn.AvgPool2d实现nn.AdaptiveAvgPool2d
import torch# 数据x = torch.randn([1,3,4,4])print(x.shape)# nn.AdaptiveAvgPool2d结果gap = nn.AdaptiveAvgPool2d(1)print(gap(x))# nn.AvgPool2d结果,参考resnest代码gap2 = nn.AvgPool2d(kernel_size=(x.size(2),x.size(3))) #ceil_mode=Fal原创 2021-07-08 15:50:22 · 574 阅读 · 0 评论 -
图片分割mask的onehote
1. pytorch参考:https://www.pythonf.cn/read/93750背景:将多分类分割转为二分类时,crossentropy内置有onehot编码,无需对mask进行onehot处理,但是转为二分类时,loss改为bce loss,需要手动对mask进行onehot编码后再加入loss# 第一种方法:已亲测有效def mask2onehot(mask, num_classes): """ Converts a segmentation mask (H,W) t原创 2021-03-05 11:32:46 · 1023 阅读 · 0 评论 -
keras绘图loss和准确率等
H = model.fit_generator(xxx) # plot the training loss and accuracyplt.style.use("ggplot")plt.figure()N = EPOCHSplt.plot(np.arange(0, N), H.history["loss"], label="train_loss")plt.plot(np.arange(0, N), H.history["val_loss"], label="val_loss")plt.pl原创 2020-11-07 21:01:22 · 1492 阅读 · 0 评论 -
数据增强--opencv自定义编写
opencv自定义数据增强目录旋转模糊处理增加噪声光照调整使用方法opencv官方api1. 旋转def rotate(xb, yb, angle): # xb, yb为原图及label图片,angle为逆时针旋转角度 M_rotate = cv2.getRotationMatrix2D((img_w/2,img_h/2),angle,1) xb = cv2.warpAffine(xb, M_rotate, (img_w, img_h)) yb = cv2.warpAffine原创 2020-11-01 21:22:36 · 325 阅读 · 1 评论 -
CyclicLR pytorch实现
论文:https://arxiv.org/abs/1506.01186论文中给了keras版本1、如何寻找最大和最小学习率:参考https://github.com/davidtvs/pytorch-lr-finder安装:#python3.5以上pip install torch-lr-finder# for mixed precision trainingpip install torch-lr-finder -v --global-option='apex'# implementat原创 2020-09-20 21:45:41 · 1550 阅读 · 2 评论 -
Tenorflow -- estimator
目录:1、构建Estimator和model_fn2、使用 tf.estimator.TrainSpec 指定训练输入函数及相关参数3、使用 tf.estimator.EvalSpec 指定验证输入函数及相关参数4、使用 tf.estimator.train_and_evaluate 启动训练和验证过程5、使用estimator.export_savedmodel导出模型其中5可选tf.estimator是tensorflow的high level api1、构建Estimator(包含构原创 2020-08-09 22:20:26 · 363 阅读 · 0 评论 -
模型加速--IO加速,tfRecord和keras Sequence
每次在训练模型时,尤其是训练数据较大时,都会大部分时间都会花在数据IO读写上,而不是真正的GPU计算,这也就意味着,GPU实际上很多时候是空闲等待状态!在keras中可以通过sequence实现,在tensorflow中可以通过tfRecord实现。或者将图片以.npy的格式保存在本地,在训练的时候读取也会快很多。如果将大规模数据一次性读进内存会很耗内存,可以使用tensorflow的queue和keras的sequence来存储数据。1、keras的sequence2、tensorflow的tfR原创 2020-07-26 22:05:15 · 777 阅读 · 0 评论 -
tensorflow serving使用
1、添加源从官网下载,或者手动安装!echo "deb http://storage.googleapis.com/tensorflow-serving-apt stable tensorflow-model-server tensorflow-model-server-universal" | tee /etc/apt/sources.list.d/tensorflow-serving.list && \curl https://storage.googleapis.com/tens原创 2020-07-19 15:40:41 · 482 阅读 · 0 评论 -
『TensorFlow』模型保存和载入方法汇总
转载自https://www.cnblogs.com/hellcat/p/6925757.html#_label0_2一、TensorFlow常规模型加载方法保存模型加载模型1.不加载图结构,只加载参数2.加载图结构和参数3.简化版本二、TensorFlow二进制模型加载方法三、二进制模型制作四、从图上读取张量从二进制模型加载张量从当前图中获取对应张量从图中获取节点信息...转载 2020-05-31 23:06:56 · 184 阅读 · 0 评论 -
keras可视化中间层特征
可视化中间层不同通道特征及所有卷积层特征读取图片#读取图片from tensorflow.keras.preprocessing import imagepath='xxx.jpg'img = image.load_img(path,target_size=(224,224))img=image.img_to_array(img)x = np.expand_dims(img, a...原创 2020-04-13 20:39:23 · 1316 阅读 · 0 评论 -
pandas 常用
pandas教程:天池:pandas实践-2012美国总统竞选赞助数据分析天池:pandas基础挑一些函数数据载入import pandas as pdimport csv# 读取文件data=pd.read_csv(file)data=pd.read_excel(file)for i in range(len(data)): a=data.iloc[i]['id']...原创 2020-04-04 23:37:04 · 105 阅读 · 0 评论 -
pytorch加载保存查看checkpoint文件
目录保存方式加载方式查看checkpoint文件内容保存checkpoint文件原创 2020-02-01 16:48:40 · 36207 阅读 · 2 评论 -
pytorch篇--梯度及求导
目录1.pytorch相关函数: Variable、requires_grad、volatile、no_grad、detach()2. 什么时候使用3. 参考资料正文推测阶段(inteference)指预测阶段,并不反向求导,只有前向计算,求导及梯度更新只出现在训练阶段。可以参考pytorch官网:自动求导机制:https://www.pytorchtutorial.com/doc...原创 2020-03-22 17:24:24 · 1748 阅读 · 0 评论