深度学习基础
Patrick Star1
我对任何唾手可得,快速,出自本能,即兴,含混的事物没有信心。我相信缓慢,平和,细水长流的力量,踏实,冷静。我不相信缺乏自律精神和不自我建设,不努力,可以得到个人或集体的解放。
展开
-
【pytorch阅读笔记】pytorch基础知识
本部分共分为5部分:基本数据Autograd与计算图神经网络工具箱:torch.nn模型处理 torchvision.model数据处理pytorch最大的优势是可以使用tensor代替numpy进行对应的矩阵操作并且支持对应的GPU加速。1.pytorch基本数据: tensortensor的使用类似于numpytensor创建与维度的查看 torch.tensor...原创 2020-01-21 12:06:28 · 2659 阅读 · 0 评论 -
【数据集转换】COCO数据集格式
简介COCO数据集现在有3种标注类型:object instances(目标实例), object keypoints(目标上的关键点), and image captions(看图说话),使用JSON文件存储。格式结构{ "info": info, "licenses": [license], "images": [image], #划入训练集(或者测试集)的图片...原创 2019-10-30 18:14:35 · 2128 阅读 · 0 评论 -
【深度学习基础】损失函数
深度学习基础:性能评估指标超参数介绍3.损失函数前言本文主要总结一下常见目标检测的损失函数以及一些基础的函数,包括:MSE均方误差损失函数、Cross Entropy交叉熵损失函数目标检测中常用的Smooth L1损失函数focal loss损失函数:共分为两类,分类问题的损失,和回归问题的损失。均方差损失函数均方差损失函数常用在最小二乘法中。它的思想是使得各个...原创 2019-10-13 16:12:17 · 2920 阅读 · 0 评论 -
【深度学习基础】超参数介绍
在深度神经网络中,超参数的调整是一项必备技能,通过观察在训练过程中的监测指标如损失loss和准确率来判断当前模型处于什么样的训练状态,及时调整超参数以更科学地训练模型能够提高资源利用率。下面将分别介绍并总结了不同超参数的调整规则。按照超参数的重要程度进行介绍(1)学习率学习率(learning rate或作lr)是指在优化算法中更新网络权重的幅度大小。学习率可以是恒定的、逐渐降低的,基于动量的...原创 2019-07-26 16:42:00 · 1928 阅读 · 0 评论 -
【模型压缩方法总览】深度学习调研
模型压缩原因论文Predicting parameters in deep learning提出,其实在很多深度的神经网络中存在着显著的冗余。仅仅使用很少一部分(5%)权值就足以预测剩余的权值。该论文还提出这些剩下的权值甚至可以直接不用被学习。也就是说,仅仅训练一小部分原来的权值参数就有可能达到和原来网络相近甚至超过原来网络的性能(可以看作一种正则化)。Krizhevsky在2014年的文章中...原创 2019-09-21 15:58:53 · 1672 阅读 · 0 评论