![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
文章平均质量分 60
TBYourHero
to be your hero
展开
-
Transductive和Inductive的区别
链接:https://www.jianshu.com/p/db6bff0623b1。商业转载请联系作者获得授权,非商业转载请注明出处。转载 2022-09-27 15:09:14 · 1599 阅读 · 1 评论 -
多模态学习综述 Multimodal Machine Learning A Survey and Taxonomy
Multimodal Machine Learning: A Survey and Taxonomy,"多模态机器学习综述转载 2022-07-12 10:20:27 · 2014 阅读 · 0 评论 -
vit transformer中的cls_token
vit transformer中的cls_token原创 2022-07-11 20:39:18 · 6112 阅读 · 0 评论 -
resnet v2
ResNet 两代(ResNet v1和ResNet v2)原创 2022-07-07 16:46:17 · 509 阅读 · 0 评论 -
多标签分类损失函数/精度 BCEWithLogitsLoss MultiLabelSoftMarginLoss BCELoss
多标签分类损失函数 BCEWithLogitsLoss MultiLabelSoftMarginLoss BCELoss原创 2022-06-22 15:56:35 · 2450 阅读 · 1 评论 -
【无标题】
自注意力https://www.jianshu.com/p/6c15bca81876https://new.qq.com/omn/20220522/20220522A03Y7Q00.html#:~:text=%E7%94%A8%E5%A4%96%E8%A1%8C%E4%BA%BA%E7%9A%84%E8%AF%9D%E8%AF%B4%EF%BC%8Cself-attention%E6%9C%BA%E5%88%B6%E5%85%81%E8%AE%B8%E8%BE%93%E5%85%A5%E4%B8%8E%E8原创 2022-06-21 10:08:26 · 160 阅读 · 1 评论 -
马赛克数据增强 mosaic
马赛克数据增强转载 2022-06-21 09:53:46 · 4452 阅读 · 0 评论 -
深度学习19种损失函数
tensorflow和pytorch很多都是相似的,这里以pytorch为例。计算 output 和 target 之差的绝对值。参数:计算 output 和 target 之差的均方差。参数:当训练有 C 个类别的分类问题时很有效. 可选参数 weight 必须是一个1维 Tensor, 权重将被分配给各个类别. 对于不平衡的训练集非常有效。在多分类任务中,经常采用 softmax 激活函数+交叉熵损失函数,因为交叉熵描述了两个概率分布的差异,然而神经网络输出的是向量,并不是概率分布的形式。所转载 2022-06-20 13:10:05 · 1892 阅读 · 3 评论 -
预训练模型参数不匹配
(34条消息) strict=False 但还是size mismatch for []: copying a param with shape [] from checkpoint,the shape in cur_Adenialzz的博客-CSDN博客转载 2022-06-16 23:24:45 · 850 阅读 · 0 评论 -
使用pytorch获取bert词向量 将字符转换成词向量
转载保存:使用pytorch获取bert词向量_海蓝时见鲸_的博客-CSDN博客_获取bert词向量pytorch-pretrained-bert简单使用_风吹草地现牛羊的马的博客-CSDN博客_pretrained pytorch我的实现源码:from pytorch_pretrained_bert import BertModel, BertTokenizerimport numpy as np# 加载bert的分词器tokenizer = BertTokenizer.f原创 2022-05-16 22:28:27 · 3614 阅读 · 2 评论 -
pytorch-DataLoader(数据迭代器)详解
(152条消息) pytorch-DataLoader(数据迭代器)_学渣的博客-CSDN博客_pytorch 数据迭代器写的特别好!!转载 2022-02-18 10:04:26 · 1878 阅读 · 1 评论 -
回归模型
参考:https://blog.csdn.net/red_stone1/article/details/81122926线性回归和逻辑回归通常是人们学习预测模型的第一个算法。由于这二者的知名度很大,许多分析人员以为它们就是回归的唯一形式了。而了解更多的学者会知道它们是所有回归模型的主要两种形式。事实是有很多种回归形式,每种回归都有其特定的适用场合。在这篇文章中,我将以简单的形式介绍 7 中最常见的回归模型。通过这篇文章,我希望能够帮助大家对回归有更广泛和全面的认识,而不是仅仅知道使用线性回归和逻辑回原创 2021-04-26 09:56:38 · 113 阅读 · 0 评论 -
随机梯度下降详解
在求解机器学习算法的模型参数,即无约束优化问题时,梯度下降(Gradient Descent)是最常采用的方法之一,另一种常用的方法是最小二乘法。这里就对梯度下降法做一个完整的总结。1. 梯度 在微积分里面,对多元函数的参数求∂偏导数,把求得的各个参数的偏导数以向量的形式写出来,就是梯度。比如函数f(x,y), 分别对x,y求偏导数,求得的梯度向量就是(∂f/∂x,∂f/∂y)T,简称grad f(x,y)或者▽f(x,y)。对于在点(x0,y0)的具体梯度向量就是(∂f/∂x0,∂f/..转载 2021-02-24 12:20:38 · 13277 阅读 · 0 评论 -
TripleLoss要点理解
CNN: 4.4 triplet loss:https://www.bilibili.com/video/av16746756/CNN: 4.4 triplet loss_2:https://www.bilibili.com/video/BV1rx41157SA/?spm_id_from=333.788.videocard.1CNN: 4.4 triplet loss_3:https://www.bilibili.com/video/BV1rx41157WQ/?spm_id_from=333.788原创 2020-09-25 10:06:35 · 576 阅读 · 0 评论 -
机器学习讲堂:分析核函数的原理
https://www.youtube.com/watch?v=p4t6O9uRX-U&list=PLt0SBi1p7xrRKE2us8doqryRou6eDYEOy&index=1 转载自李政轩老师系列视频一步一步带你分析核函数的原理-Kernel Method原创 2020-09-25 10:05:12 · 291 阅读 · 0 评论 -
weight-decay与L2正则化差异
最近在看其他量化训练的一些代码、论文等,不经意间注意到有人建议要关注weight decay值的设置,建议设置为1e-4, 不要设置为1e-5这么小,当然,这个值最好还是在当下的训练任务上调一调。因为weight-decay 可以使参数尽可能地小,尽可能地紧凑,那这样权重的数值就不太可能出现若干个极端数值(偏离权重均值过大或过小)导致数值区间过大,这样求得的scale=(b-a)/255 会偏大,导致的结果就是大量数值较为接近的浮点数被量化到同一个数,严重损失了精度。关于weight-decay需.转载 2020-09-22 14:03:17 · 1328 阅读 · 1 评论 -
pytorch triple-loss
一、Triplet结构:triplet loss是一种比较好理解的loss,triplet是指的是三元组:Anchor、Positive、Negative:整个训练过程是:首先从训练集中随机选一个样本,称为Anchor(记为x_a)。 然后再随机选取一个和Anchor属于同一类的样本,称为Positive (记为x_p) 最后再随机选取一个和Anchor属于不同类的样本,称为Negative (记为x_n)由此构成一个(Anchor,Positive,Negative)三元组。二原创 2020-08-05 21:14:01 · 3529 阅读 · 0 评论 -
Triple loss
源码 class TripletLoss(nn.Module): """Triplet loss with hard positive/negative mining. Reference: Hermans et al. In Defense of the Triplet Loss for Person Re-Identification. arXiv:1703.07737. Imported from `<https://githu原创 2020-08-05 21:11:46 · 193 阅读 · 0 评论 -
神经网络26 个激活函数汇总
在神经网络中,激活函数决定来自给定输入集的节点的输出,其中非线性激活函数允许网络复制复杂的非线性行为。正如绝大多数神经网络借助某种形式的梯度下降进行优化,激活函数需要是可微分(或者至少是几乎完全可微分的)。此外,复杂的激活函数也许产生一些梯度消失或爆炸的问题。因此,神经网络倾向于部署若干个特定的激活函数(identity、sigmoid、ReLU 及其变体)。下面是 26 个激活函数的图示及其一阶导数,图的右侧是一些与神经网络相关的属性。1. Step激活函数 Step 更倾向于理论而不是实转载 2020-08-03 15:44:22 · 4034 阅读 · 0 评论 -
tiny ImageNet
文档:https://tiny-imagenet.herokuapp.com/下载地址:http://cs231n.stanford.edu/tiny-imagenet-200.zipWelcome to the tiny ImageNet evaluation server. Tiny ImageNet Challenge is the default course project for StanfordCS231N. It runs similar to theImageNet chall..原创 2020-08-02 20:03:03 · 4596 阅读 · 0 评论 -
余弦学习率
PyTorch torch.optim.lr_scheduler 学习率设置 调参 – CosineAnnealingLR原创 2020-08-01 10:20:23 · 2014 阅读 · 0 评论 -
TADAM:Task dependent adaptive metric for improved few-shot learning
TADAM:Task dependent adaptive metric for improved few-shot learning原创 2019-12-02 21:31:28 · 271 阅读 · 0 评论 -
2017年-2019年计算机视觉顶会发表的论文整理
元学习论文总结||小样本学习论文总结收集了2017年-2019年计算机视觉顶会发表的论文列表,包括AAAI 、CVPR 、ICLR 、ECCV 、ICCV 、NIPS链接:https://pan.baidu.com/s/1PQzIXp6YDLzCn_i_R2vVXw提取码:至vieo.zhu@foxmail.com申请...原创 2019-11-13 14:14:58 · 596 阅读 · 0 评论 -
归纳偏倚inductive bias
在机器学习中,将为了使学习成为可能所做的假设集称为学习算法的归纳偏倚(inductive bias).在机器学习中,对于不适定问题(ill-posed problem),单靠数据本身不足以找到唯一的解,因此我们需要做一些特别的假设,以便得到已有数据的唯一解。将为了使学习成为可能所做的假设集称为学习算法的归纳偏倚(inductive bias)[1]。引入归纳偏倚的一种途径是假定一个假...原创 2019-11-13 08:49:31 · 250 阅读 · 0 评论 -
目标检测-论文汇总
转载:https://www.zhihu.com/question/311086366/answer/595155655目标检测(对象检测)算法合集(持续更新):https ://blog.csdn.net/amusi1994/article/details/81042923csdn博客:https : //blog.csdn.net/hw5226349/article/details/8...转载 2019-11-13 08:49:03 · 2176 阅读 · 0 评论 -
ReLU、Leaky ReLU、PReLU和RReLU激活函数
“激活函数”能分成两类——“饱和激活函数”和“非饱和激活函数”。sigmoid和tanh是“饱和激活函数”,而ReLU及其变体则是“非饱和激活函数”。使用“非饱和激活函数”的优势在于两点: 1.首先,“非饱和激活函数”能解决所谓的“梯度消失”问题。 2.其次,它能加快收敛速度。 Sigmoid函数需要一个实值输入压缩至[0,1]的范围 σ(x) = 1 / ...转载 2019-11-07 10:36:47 · 3148 阅读 · 1 评论 -
Learning AI if You Suck at Math
https://hackernoon.com/learning-ai-if-you-suck-at-math-8bdfb4b79037Be sure to check out the rest of this ongoing series. Feel free to follow me because you want to be the first the read the latest a...原创 2019-10-31 09:46:29 · 195 阅读 · 0 评论 -
deep learning(rnn、cnn)调参的经验
你有哪些deep learning(rnn、cnn)调参的经验? - Towser的回答 - 知乎 https://www.zhihu.com/question/41631631/answer/862075836转载 2019-10-24 22:06:02 · 166 阅读 · 0 评论 -
机器学习-各分类模型优缺点(持续更新)
元学习论文总结||小样本学习论文总结2017-2019年计算机视觉顶会文章收录 AAAI2017-2019 CVPR2017-2019 ECCV2018 ICCV2017-2019 ICLR2017-2019 NIPS2017-2019面试过程中经常被问到各种算法的优缺点,特此整理,持续更新中。1、决策树优点一、 决策树易于理解和解释.人们在通过解释后都有能力去理解决策树所表达...转载 2019-10-23 09:39:07 · 5951 阅读 · 0 评论 -
Batch Normalization原理与实战
作者:天雨粟链接:https://zhuanlan.zhihu.com/p/34879333来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。前言本期专栏主要来从理论与实战视角对深度学习中的Batch Normalization的思路进行讲解、归纳和总结,并辅以代码让小伙伴儿们对Batch Normalization的作用有更加直观的了解。本文主要...转载 2019-10-18 10:05:47 · 475 阅读 · 0 评论 -
Batch Normalization
参考一:https://www.jianshu.com/p/86530a0a3935参考二:http://www.mamicode.com/info-detail-2378483.html我们都知道在train网络之前,会对数据进行归一化处理,为的是保持训练和测试数据的分布相同,而在神经网络内部,每一层我们都需要有输出和输出,除了对原始数据的标准化处理,在经过网络每一层计算后的数据,它们的...原创 2019-10-17 17:20:10 · 141 阅读 · 0 评论 -
ResNet-18实现Cifar-10图像分类 pytorch
https://blog.csdn.net/sunqiande88/article/details/80100891这里的18指定的是带有权重的 18层,包括卷积层和全连接层,不包括池化层和BN层。下面先贴出ResNet论文中给出的结构列表。Resnet-allResnet-18'''ResNet-18 Image classfication for cifar-10 ...原创 2019-10-16 21:48:37 · 2332 阅读 · 1 评论 -
深度学习图像数据增强:翻转、旋转、拉伸、五部分提取、明暗度变化python
元学习论文总结||小样本学习论文总结2017-2019年计算机视觉顶会文章收录 AAAI2017-2019 CVPR2017-2019 ECCV2018 ICCV2017-2019 ICLR2017-2019 NIPS2017-2019一:日志依赖https://blog.csdn.net/weixin_41803874/article/details/81201807数据操...原创 2018-07-25 14:14:42 · 23137 阅读 · 8 评论 -
基于TF-Slim使用MobilenetV2进行图像分类
元学习论文总结||小样本学习论文总结2017-2019年计算机视觉顶会文章收录 AAAI2017-2019 CVPR2017-2019 ECCV2018 ICCV2017-2019 ICLR2017-2019 NIPS2017-2019Environmentubuntu16.04 python2.7 tensorflowGithubhttps://github.c...原创 2018-08-10 20:29:10 · 6964 阅读 · 10 评论 -
机器学习:svm算法实现python
元学习论文总结||小样本学习论文总结2017-2019年计算机视觉顶会文章收录 AAAI2017-2019 CVPR2017-2019 ECCV2018 ICCV2017-2019 ICLR2017-2019 NIPS2017-2019参考:https://www.cnblogs.com/luyaoblog/p/6775342.htmlfrom sklearn impor...原创 2018-10-21 21:10:51 · 1500 阅读 · 0 评论 -
机器学习-回归
一、引言 本材料参考Andrew Ng大神的机器学习课程 http://cs229.stanford.edu,以及斯坦福无监督学习UFLDL tutorial http://ufldl.stanford.edu/wiki/index.php/UFLDL_Tutorial 机器学习中的回归问题属于有监督学习的范畴。回归问题的目标是给定D维输入变量x,并且每一个输入矢量x都有对应的值y,要...转载 2018-12-03 21:17:05 · 237 阅读 · 0 评论 -
Tell Me Where to Look: Guided Attention Inference Network论文翻译
元学习论文总结||小样本学习论文总结2017-2019年计算机视觉顶会文章收录 AAAI2017-2019 CVPR2017-2019 ECCV2018 ICCV2017-2019 ICLR2017-2019 NIPS2017-2019转载:http://tongtianta.site/paper/852Tell Me Where to Look: Guided Attention I...转载 2018-12-22 16:08:22 · 1663 阅读 · 0 评论 -
Tell Me Where to Look: Guided Attention Inference Network论文阅读
元学习论文总结||小样本学习论文总结2017-2019年计算机视觉顶会文章收录 AAAI2017-2019 CVPR2017-2019 ECCV2018 ICCV2017-2019 ICLR2017-2019 NIPS2017-2019标题翻译为:引导注意推理网络(显式自引导注意模型)背景参考 GAIN论文解读https://blog.csdn.net/qq_24305433...原创 2018-12-22 16:55:35 · 2343 阅读 · 1 评论 -
Alexnet总结
ImageNet Classification with Deep Convolutional Neural Networks 论文总结1 引言现在有了一个更大的数据集imageNet,我们通过改变CNN的深度和广度得到学习能力更强的模型。在这之前CNN模型的训练的时间代价昂贵,而目前的GPU促进了大规模CNN的训练;同时鉴于最近出现的大规模数据集,使得过拟合现象得到控制。本文的贡献是得到...原创 2018-12-17 23:49:39 · 1031 阅读 · 0 评论 -
贝叶斯分类器-定理简介
为了更好的了解贝叶斯定理以及相关的应用,特地找来三篇文章进行学习,以下是文章的链接,感谢原作者: http://www.ruanyifeng.com/blog/2011/08/bayesian_inference_part_one.html 贝叶斯推断及其互联网应用 一、什么是贝叶斯推断 贝叶斯推断是一种统计学方法,用来估计统计量的某种性质。 ...转载 2019-01-17 15:41:52 · 533 阅读 · 0 评论