![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
TBYourHero
to be your hero
展开
-
数据增强可视化 transfrom Python中三个图像增强库
本文中探索三个流行的 Python 图像增强库。图像分类器通常在训练更多的图像时表现得更好。在图像分类模型中,一个常见的问题是,模型不能正确地对图像进行分类,只是因为它没有针对同一图像的不同方向进行训练。这可以通过向模型提供多种可能的图像方向和转换来克服。然而,在现实中,收集这些不同的数据可能需要更多的时间、资源和专业知识,而且对公司来说成本可能很高。在这种情况下,图像数据增强是一个流行的选择,通过使用一个或多个增强技术来生成用于训练的各种图像,从而为现有数据集增加多样性。转载 2022-08-19 12:14:16 · 1256 阅读 · 0 评论 -
PyTorch 多进程分布式训练实战
以上就是我自己使用 PyTorch 多进程分布式训练的经验了,没有太多原理讲解,想看其实现原理直接网上搜就行,具体怎么用看我给的代码就会了。根据我的经验,直接将这些流程嵌入到已有代码中即可,对于一些处理、打印、TensorBoard 等等都交给 master,缺点就是只能反映部分,不能反映整体,算是目前的一些不足吧。我的训练环境主要是单机多卡,写这篇文章也是结合我自己的使用经验,所以肯定有很多地方没照顾到,但是以实践为主看完这篇文章就可以上手了。本文作者:murphypei。...转载 2022-08-17 10:51:08 · 2054 阅读 · 1 评论 -
批量将PPM格式图片转化为JPG格式
代码】批量将PPM格式图片转化为JPG格式。转载 2022-07-25 13:07:18 · 713 阅读 · 0 评论 -
多标签分类损失函数/精度 BCEWithLogitsLoss MultiLabelSoftMarginLoss BCELoss
多标签分类损失函数 BCEWithLogitsLoss MultiLabelSoftMarginLoss BCELoss原创 2022-06-22 15:56:35 · 2447 阅读 · 1 评论 -
【无标题】
自注意力https://www.jianshu.com/p/6c15bca81876https://new.qq.com/omn/20220522/20220522A03Y7Q00.html#:~:text=%E7%94%A8%E5%A4%96%E8%A1%8C%E4%BA%BA%E7%9A%84%E8%AF%9D%E8%AF%B4%EF%BC%8Cself-attention%E6%9C%BA%E5%88%B6%E5%85%81%E8%AE%B8%E8%BE%93%E5%85%A5%E4%B8%8E%E8原创 2022-06-21 10:08:26 · 159 阅读 · 1 评论 -
深度学习19种损失函数
tensorflow和pytorch很多都是相似的,这里以pytorch为例。计算 output 和 target 之差的绝对值。参数:计算 output 和 target 之差的均方差。参数:当训练有 C 个类别的分类问题时很有效. 可选参数 weight 必须是一个1维 Tensor, 权重将被分配给各个类别. 对于不平衡的训练集非常有效。在多分类任务中,经常采用 softmax 激活函数+交叉熵损失函数,因为交叉熵描述了两个概率分布的差异,然而神经网络输出的是向量,并不是概率分布的形式。所转载 2022-06-20 13:10:05 · 1888 阅读 · 3 评论 -
预训练模型参数不匹配
(34条消息) strict=False 但还是size mismatch for []: copying a param with shape [] from checkpoint,the shape in cur_Adenialzz的博客-CSDN博客转载 2022-06-16 23:24:45 · 847 阅读 · 0 评论 -
使用pytorch获取bert词向量 将字符转换成词向量
转载保存:使用pytorch获取bert词向量_海蓝时见鲸_的博客-CSDN博客_获取bert词向量pytorch-pretrained-bert简单使用_风吹草地现牛羊的马的博客-CSDN博客_pretrained pytorch我的实现源码:from pytorch_pretrained_bert import BertModel, BertTokenizerimport numpy as np# 加载bert的分词器tokenizer = BertTokenizer.f原创 2022-05-16 22:28:27 · 3611 阅读 · 2 评论 -
Pytorch的DataLoader, DataSet, Sampler之间的关系
一文弄懂Pytorch的DataLoader, DataSet, Sampler之间的关系 - marsggbo - 博客园 (cnblogs.com)极力推荐,看原文,这里笔者是做个笔记,避免丢失以下内容都是针对Pytorch 1.0-1.1介绍。很多文章都是从Dataset等对象自下往上进行介绍,但是对于初学者而言,其实这并不好理解,因为有的时候会不自觉地陷入到一些细枝末节中去,而不能把握重点,所以本文将会自上而下地对Pytorch数据读取方法进行介绍。1|0自上而下理解三者关系转载 2022-05-14 21:53:14 · 437 阅读 · 0 评论 -
cv2.error: OpenCV(4.5.5) /io/opencv/modules/core/src/arithm.cpp:652: error: (-215:Assertion failed)
[ WARN:0@0.794] global /io/opencv/modules/imgcodecs/src/loadsave.cpp (239) findDecoder imread_('/home/ubuntu/data/imgnet2012-lsfsl/train_split/base/n06785654_11701.JPEG'): can't open/read file: check file path/integrityTraceback (most recent call last)...原创 2022-05-14 15:30:47 · 3740 阅读 · 0 评论 -
python copy mv 拷贝文件夹和文件
拷贝文件夹:import osimport shutil source_path = os.path.abspath(r'E:\Projects\source_dir')target_path = os.path.abspath(r'E:\Projects\new folder\target_dir') if not os.path.exists(target_path): # 如果目标路径不存在原文件夹的话就创建 os.makedirs(target_path) if转载 2022-05-14 12:58:21 · 1027 阅读 · 0 评论 -
pytorch dataloader加载多个数据集 | 解决一个batch包含base和novel数据
问题:要求取一批数据batch=[novel,base]来自两个数据集,且对两个数据集的组织不同,对base随机抽取,对novel按照小样本设定抽取调研:Pytorch在一个Batch内加载两个大小不等的Dataset_Tinet-的博客-CSDN博客_pytorch合并两个dataset第一个方法:对于两个数据集dataset,分别定义各自的sample策略,分别由dataloader加载,在读取dataloader时候用迭代器分别读取两个loader的数据在使用Pytorc.转载 2022-05-13 17:37:22 · 8099 阅读 · 0 评论 -
python什么是包 文件夹包含_init_.py
python中的模块、库、包有什么区别? - 风影忍着的回答 - 知乎 https://www.zhihu.com/question/30082392/answer/2030353759转载 2022-05-11 15:40:04 · 121 阅读 · 0 评论 -
pytorch nn.DataParallel 测试时,用在读入模型参数之后
Missing key(s) in state_dict: "module.features.0.weight", "module.features.0.bias", ....Unexpected key(s) in state_dict: "features.0.weight", "features.0.bias", ...nn.DataParallel是pytorch使用多gpu训练时所使用的方法,但是使用nn.DataParallel之后,模型的读取就会有所不同。最常见的情况就是使用的预训练.转载 2022-03-18 20:59:26 · 709 阅读 · 0 评论 -
Python返回值注解 “->“符号的意义
(155条消息) Python中 "->"符号的意义_潜水两万里的博客-CSDN博客_python中->是什么意思Python中 "->"符号的意义这是一个叫做返回值注解的符号。它通过允许将元数据附加到描述其参数和返回值的函数来扩展该功能。例如:def f(ham:str, eggs:str = 'eggs') -> str: pass表示返回值类型应该为str。(在此也可以不限于数据类型,也可以是具体字符串比如说‘Egg Number’,甚至是任何表达..转载 2022-03-03 17:30:36 · 1108 阅读 · 0 评论 -
pytorch 报错inf nan
pytorch nan inf原创 2021-12-21 21:47:01 · 498 阅读 · 0 评论 -
pytorh的乘法
pytorch 乘法原创 2021-12-21 14:38:18 · 200 阅读 · 0 评论 -
python matplotlib 指数函数拟合
import mathimport matplotlibimport matplotimport numpy as npimport matplotlib.pyplot as pltplt.rcParams['font.family'] = ['sans-serif']plt.rcParams['font.sans-serif'] = ['SimHei']# 为了显示中文def HH(m,n): """ 问题一,输入m,n参数,返回一个(m+1)*(n+1)的矩阵 .转载 2021-04-19 22:24:25 · 1358 阅读 · 0 评论 -
python散点图plt.scatter()
https://blog.csdn.net/m0_37393514/article/details/81298503总是去别人的博客里面找关于scatter散点图相关用法,想想还是自己写一个吧,下次看自己的就行。函数的原型:matplotlib.pyplot.scatter(x, y, s=None, c=None, marker=None, cmap=None, norm=None, vmin=None, vmax=None, alpha=None, linewidths=None, vert转载 2021-03-02 15:54:21 · 971 阅读 · 0 评论 -
解决Anaconda pytorch无法下载或下载缓慢
第一步切换Anaconda下载源。# 添加清华源conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/conda config --set show_channel_urls yes#添加pytorch源co转载 2021-03-01 18:54:38 · 1129 阅读 · 1 评论 -
pytorch计算矩阵的迹
x=torch.rand(3,3)print(x)print(x.trace())#求矩阵的迹(对角线元素之和);print(x.diag())#对角线元素之和;print(x.inverse())#求矩阵的逆;print(x.triu())#求矩阵的上三角print(x.tril())#求矩阵的下三角;print(x.t())#矩阵的转置;y=torch.rand(3,1)print(x.mm(y))#矩阵乘法;...原创 2021-03-01 17:12:40 · 4079 阅读 · 0 评论 -
weight-decay与L2正则化差异
最近在看其他量化训练的一些代码、论文等,不经意间注意到有人建议要关注weight decay值的设置,建议设置为1e-4, 不要设置为1e-5这么小,当然,这个值最好还是在当下的训练任务上调一调。因为weight-decay 可以使参数尽可能地小,尽可能地紧凑,那这样权重的数值就不太可能出现若干个极端数值(偏离权重均值过大或过小)导致数值区间过大,这样求得的scale=(b-a)/255 会偏大,导致的结果就是大量数值较为接近的浮点数被量化到同一个数,严重损失了精度。关于weight-decay需.转载 2020-09-22 14:03:17 · 1328 阅读 · 1 评论 -
Pytorch:transforms的二十二个方法
文章目录一、 裁剪——Crop 1.随机裁剪:transforms.RandomCrop 2.中心裁剪:transforms.CenterCrop 3.随机长宽比裁剪 transforms.RandomResizedCrop 4.上下左右中心裁剪:transforms.FiveCrop 5.上下左右中心裁剪后翻转: transforms.TenCrop 二、翻转和旋转——Flip and Rotation 6.依概率p水平翻转transforms.RandomHoriz转载 2020-09-22 10:46:58 · 267 阅读 · 0 评论 -
pytorch调整序列顺序
用index下标指定,作变换a = torch.Tensor(3,4)index = [1,0,2]a = a[index]原创 2020-09-21 10:15:22 · 2885 阅读 · 0 评论 -
python is 与 ==区别
在 Python 中一切都是对象,毫无例外整数也是对象,对象之间比较是否相等可以用==,也可以用is。==和is操作的区别是: Is 比较的是两个对象的id值是否相等,也就是比较俩对象是否为同一个实例对象,是否指向同一个内存地址。 == 比较的是两个对象的内容是否相等,默认会调用对象的__eq__()方法。 ...转载 2020-09-17 22:44:06 · 100 阅读 · 0 评论 -
Pytorch下label的one-hot形式转换方法
Pytorch下label的one-hot形式转换方法https://blog.csdn.net/c2250645962/article/details/105704124转载 2020-09-14 20:13:32 · 1463 阅读 · 0 评论 -
pytorch删除指定行、列 选取除某个元素外的所有元素
在pytorch中,想删除tensor中的指定行列,原本以为有个函数或者直接把某一行赋值为[]就可以,结果发现没这么简单,因此用了一个曲线救国方法,希望如果有更直接的方法,请大家指出。code-1shot = args.support_shot # 5way = args.way # 5data = data_ori.reshape(shot, way, 3, 84, 84)anc = data[:, p]pos = anc.repeat(4, 1, 1, 1)neg = dat.原创 2020-08-11 16:38:58 · 6897 阅读 · 0 评论 -
python 列表list保留小数点后n位
保留后4位a = [0.5013333559036255, 0.7313334345817566, 0.843999981880188, 0.8953333497047424, 0.9380000233650208, 0.9699999690055847, 0.9839999079704285, 0.9913332462310791, 0.9953333139419556]b = [float('{:.4f}'.format(i)) for i in a]output:b=[0.5.原创 2020-08-23 15:54:35 · 16285 阅读 · 2 评论 -
pytorch triple-loss
一、Triplet结构:triplet loss是一种比较好理解的loss,triplet是指的是三元组:Anchor、Positive、Negative:整个训练过程是:首先从训练集中随机选一个样本,称为Anchor(记为x_a)。 然后再随机选取一个和Anchor属于同一类的样本,称为Positive (记为x_p) 最后再随机选取一个和Anchor属于不同类的样本,称为Negative (记为x_n)由此构成一个(Anchor,Positive,Negative)三元组。二原创 2020-08-05 21:14:01 · 3528 阅读 · 0 评论 -
Triple loss
源码 class TripletLoss(nn.Module): """Triplet loss with hard positive/negative mining. Reference: Hermans et al. In Defense of the Triplet Loss for Person Re-Identification. arXiv:1703.07737. Imported from `<https://githu原创 2020-08-05 21:11:46 · 193 阅读 · 0 评论 -
pytorch数据抽样 随机取样
WeightedRandomSampler不放回只能用WeightedRandomSampler,其他都是放回取样只需将权重都设为1(or相同值)from torch.utils.data import WeightedRandomSampler,DataLoadera = torch.Tensor([1, 2, 3, 4, 5])dataloader = DataLoader(dataset=a, batch_size=4, # 组织成batch大小原创 2020-08-05 19:28:16 · 6463 阅读 · 0 评论 -
python anaconda安装本地包
tar.bz2文件将tar.bz2文件复制到:Anaconda/pkgs文件夹下此时删除原来下载的缓冲文件,再复制或本地安装即可安装前进入待安装环境source activate pytorch-gpu# 要求绝对路径conda install --use-local /home/user/anaconda3/pkgs/pytorch-0.4.0-py35_cuda8.0.61_cudnn7.1.2_1.tar.bz2本地安装的命令如下conda install --use-local y原创 2020-08-04 20:05:32 · 5494 阅读 · 1 评论 -
LinearSVC参数介绍
LinearSVC与SVC的区别LinearSVC基于liblinear库实现有多种惩罚参数和损失函数可供选择训练集实例数量大(大于1万)时也可以很好地进行归一化既支持稠密输入矩阵也支持稀疏输入矩阵多分类问题采用one-vs-rest方法实现SVC基于libsvm库实现训练时间复杂度为 [公式]训练集实例数量大(大于1万)时很难进行归一化多分类问题采用one-vs-rest方法实现2. LinearSVC详细说明LinearSVC实现了线性分类支持向量机,它是给根据liblin.转载 2020-08-04 09:33:35 · 12140 阅读 · 0 评论 -
python@修饰符
python函数修饰符@的作用是为现有函数增加额外的功能,常用于插入日志、性能测试、事务处理等等。创建函数修饰符的规则:(1)修饰符是一个函数(2)修饰符取被修饰函数为参数(3)修饰符返回一个新函数(4)修饰符维护被维护函数的签名例子1:被修饰函数不带参数def log(func): def wrapper(): print('log开始 ...') func() print('log结束 ...') return wrapper转载 2020-08-02 15:46:39 · 326 阅读 · 0 评论 -
余弦学习率
PyTorch torch.optim.lr_scheduler 学习率设置 调参 – CosineAnnealingLR原创 2020-08-01 10:20:23 · 2014 阅读 · 0 评论 -
SoftMax温度系数temperature parameter
深度学习中的temperature parameter是什么问题来源在google的论文《Sampling-Bias-Corrected Neural Modeling for Large Corpus Item Recommendations》中看到这个公式:对于这个t很好奇。 先简单介绍一下这篇论文,用双塔做推荐,左侧是user特征,右侧是item特征,然后通过DNN之后得到对应向量,再求向量内积得到一个数表示二者相关程度,计算出user和正类item和负类item的相关程度的数值之后,再通过s转载 2020-08-01 09:43:19 · 13849 阅读 · 0 评论 -
einsum爱因斯坦求和
https://zhuanlan.zhihu.com/p/74462893爱因斯坦求和约定(Einstein Notation)在数学中,爱因斯坦求和约定是一种标记法,也称为Einstein Summation Convention,在处理关于坐标的方程式时十分有效。简单来说,爱因斯坦求和就是简化掉求和式中的求和符号,即 [公式] ,这样就会使公式更加简洁,如Numpy是Python中的一个重要的科学计算库,支持大量的多维数组计算,并提供了大量的运算函数库。Numpy率先将爱因斯坦求和以扩展函数转载 2020-08-01 08:55:23 · 868 阅读 · 0 评论 -
t-sne可视化 mini-imagenet few-shot
参考一:https://github.com/hosein-m/CNN_featureLearning_SVM_classifier参考二:https://www.jianshu.com/p/8c6f146087f1原创 2020-07-25 20:14:26 · 605 阅读 · 0 评论 -
Python中 list, numpy.array, torch.Tensor 格式相互转化
1.1 list 转 numpyndarray = np.array(list)1.2 numpy 转 listlist = ndarray.tolist()2.1 list 转 torch.Tensortensor=torch.Tensor(list)2.2 torch.Tensor转list先转numpy,后转listlist = tens...转载 2020-04-21 21:47:57 · 2144 阅读 · 0 评论 -
使用matplotlib,pylab进行python绘图
【python笔记】使用matplotlib,pylab进行python绘图原创 2020-03-12 15:22:03 · 259 阅读 · 0 评论