日记
文章平均质量分 74
cqbelt
这个作者很懒,什么都没留下…
展开
-
pytorch读取常用数据集dataset实现例子
pytorch读取各种图像数据集的dataset具体实现,供参考,包括MNIST,CIFAR系列,CUB200,TinyImageNet,MiniImageNet,Flower,Food,Car等,以及官方预定义的数据集说明。原创 2022-05-23 09:19:25 · 2537 阅读 · 1 评论 -
增量学习分享
增量学习主要应用于判别性任务。在这个场景中,分类任务是按顺序学习的。在序列的最后,判别模型应该能够记住所有的任务。从一个任务到下一个任务的简单的微调方法会导致灾难性遗忘,也就是说,无法在之前的任务上保持初始性能。之前提出的方法可以分为四种类型。第一种方法,称为排练,是保留以前任务的样本。这些样本可以用不同的方式来克服遗忘。该方法不能用于以前任务的数据不可用的场景。此外,这种方法的可扩展也会受到质疑,因为存储样本所需的内存会随着任务的数量线性增长。第二种方法采用正则化。正则化约束权重的更新,以保持之前任务原创 2022-05-22 22:42:02 · 2398 阅读 · 0 评论 -
用python找千字文的重复字
千字文引用百度百科千字文,由南北朝时期梁朝散骑侍郎、给事中周兴嗣编纂、一千个汉字组成的韵文(在隋唐之前,不押韵、不对仗的文字,被称为“笔”,而非“文”)。梁武帝(502—549年)命人从王羲之书法作品中选取1000个不重复汉字,命员外散骑侍郎周兴嗣编纂成文。全文为四字句,对仗工整,条理清晰,文采斐然。《千字文》语句平白如话,易诵易记,并译有英文版、法文版、拉丁文版、意大利文版,是中国影响很大的儿童启蒙读物。中国大陆实行简化字、归并异体字后,其简体中文版本剩下九百九十余个相异汉字。用pytho原创 2021-09-01 15:56:03 · 1047 阅读 · 0 评论 -
TinyImageNet数据集读取与计算均值和标准差
最近在使用TinyImageNet数据集做分类任务,网络上对这个数据集的使用不算多,故做一些记录。读取借鉴github,读取数据集https://github.com/Manikvsin/TinyImagenet-pytorch/blob/master/tiny_image_net_torch.pyimport torchfrom torch.utils.data import Dataset, DataLoaderfrom torchvision import models,utils,dat原创 2021-07-13 10:28:37 · 1702 阅读 · 1 评论 -
大数据spark笔记整理
CAP理论可用性(Consistency),一致性(Availability),分区容忍性(Tolerance),三者取二传统HPC并行计算架构,使用SAN共享底层框架,难扩展,一个节点故障系统不运行MapReduce计算向数据靠拢:数据不迁移,在节点上计算,再汇总结果spark中,map将函数作用到数据集的每一个元素上,生成一个新的分布式的数据集(RDD)返回flatMap会先执行map的操作,再将所有对象合并为一个对象,返回值是一个SequencereduceByKey会寻找相同ke原创 2021-07-07 20:35:36 · 241 阅读 · 2 评论 -
卸载双系统后正常启动win10
百度词条GNU GRUB 和GRUB是GRand Unified Bootloader的缩写,它是一个多重操作系统启动管理器。用来引导不同系统,如windows,linux。装了Ubuntu和win10双系统,把Ubuntu删除了,结果开机弹出grub界面,一下子懵了。查了一下资料,不用重装系统了✌。先用ls查看系统分区,我的是(hd0,gpt2)set root=(hd0,gpt2)chainloader /EFI/Microsoft/Boot/bootmgfw.efiboot注:c原创 2021-07-04 14:32:51 · 163 阅读 · 0 评论 -
Residual Attention Network网络56和92层的计算
有两种结构def attention56(): return Attention([1, 1, 1])def attention92(): return Attention([1, 2, 3])原文的结构这个56和92怎么计算的呢?源代码"""residual attention network in pytorch[1] Fei Wang, Mengqing Jiang, Chen Qian, Shuo Yang, Cheng Li, Honggang Zhang原创 2021-04-05 10:56:54 · 602 阅读 · 0 评论 -
部分概念术语及名词理解
学习的理解学习问题是指依据经验数据选取所期望的依赖关系的问题。学习过程是一个从给定的函数集中选择一个适当的函数的过程。主要问题:对抗样本与鲁棒性、可解释性、数据安全与隐私性、决策因果性、逻辑性、公平性、无偏见。常见问题:异常,缺失,不平衡,扩容问题。神经网络的能力RepresentationOptimizationGeneralization不确定性的知识+所含不确定性度量的知识=有用的知识Softmax不等于概率,因为不具备泛化能力,在未知数据样本仍然显得过于自信。数据+特原创 2021-03-09 22:18:21 · 377 阅读 · 0 评论 -
一些bug的简单记录及可能的解决方法:安装模块,更新失败,显卡问题
1.Defaulting to user installation because normal site-packages is not writeable。ERROR: Operation cancelled by user已配置的文件无法修改,建议重新搭个环境,最快。比如pytorchhttps://download.pytorch.org/whl/torch_stable.html下个torch稳定版2.targets.cuda(async=True)Syntax Error: inv原创 2021-03-09 21:41:30 · 5162 阅读 · 0 评论 -
AdaBoost:以一个demo展开
AdaBoostAdaBoost是AdaptiveBoost的缩写,表明该算法是具有适应性的提升算法。算法的步骤如下:1)给每个训练样本(x1,x2,….,xN)分配权重,初始权重w1w_{1}w1均为1/N。2)针对带有权值的样本进行训练,得到模型GmG_mGm(初始模型为G1)。3)计算模型GmG_mGm的误分率em=∑i=1NwiI(yi≠Gm(xi))e_m=\sum_{i=1}^Nw_iI(y_i\not= G_m(x_i))em=∑i=1NwiI(yi=Gm(xi原创 2021-01-28 22:12:26 · 159 阅读 · 1 评论 -
随机方法解决七选五,骰子和硬币问题的例子
蒙特卡洛思想七选五全错的概率英语七选五,选择时不包括重复选项,任意选,全错的概率。import numpy as npimport timeselection = [1,2,3,4,5,6,7]cnt = 0 #猜对次数batch = 1e5 # 测试总次数start = time.time()for i in range(int(batch)): # 生成标准答案 tmp = selection[:] for j in range(2): num原创 2020-12-13 21:32:57 · 509 阅读 · 1 评论 -
论文笔记:BBN: Bilateral-Branch Network with Cumulative Learning for Long-Tailed Visual Recognition
BBN: Bilateral-Branch Network with Cumulative Learning for Long-Tailed Visual Recognition,CVPR 2020核心思想解耦分类网络的特征学习层和分类层。问题长尾识别:少数类别占据大部分数据,大多数类别样本数很少。以前方法类重新平衡(class re-balancing),可能损害表示学习的特征的表征能力。重采样(re-sampling)或重加权(re-weighting)有效的原因是提升分类器的学习能力,但原创 2020-12-08 10:29:06 · 695 阅读 · 1 评论 -
论文笔记:DECOUPLING REPRESENTATION AND CLASSIFIER FOR LONG-TAILED RECOGNITION
原文地址代码本文来自ICLR20。对长尾识别,通常是joint学习,就是representation和分类一起进行。本文的创新点就在于打破这个固有认识。现有类平衡策略三种维度:损失重采样,数据重采样,学习从头到尾转换(迁移学习)。第一种损失在各类别上不同,各类别的损失权重不同,难样本(hard example)需要更加重视。第二种数据分布再平衡。头类的欠采样、尾类的过采样和数据实例的重加权。第三种将头部知识应用到尾部分类。问题视觉现象遵循长尾分布,许多标准方法都无法正确建模,从而导致准确性原创 2020-12-02 20:52:37 · 715 阅读 · 0 评论 -
图论基础算法(C/C++):最短路径:最小生成树,拓扑排序举例
目录宽度优先遍历求最短路径Prim算法求最小生成树Kruskal求最小生成树dijkstra算法求最短路径拓扑排序算法总结宽度优先遍历求最短路径txt文件如下7 81 21 42 34 32 63 54 55 7如图,我们求各节点到节点1的距离,只需在遍历过程增加一个数组存放距离,且在访问节点过程中距离+1即可。注意有向图和无向图皆可。//无向图宽度优先遍历求最短路径 #include<iostream>#include<vector>#inc原创 2020-08-31 16:59:06 · 667 阅读 · 0 评论 -
数论基础算法(C/C++):模线性方程组,快速幂,素性真实问题
目录基础问题1 量水问题2 求解模线性方程问题3 求解模线性方程组问题4 快速幂模运算问题 5素性测试真题1真题2真题3基础Euclid算法最大公约数gcd(a,b)={a if b=0gcd(b,a mod b)elsegcd(a,b)= \begin{cases}a & &\;\; if \;b = 0 \\gcd(b,a \;mod\; b) & & else \\\end{cases}gcd(a,b)={agcd(b,amodb)原创 2020-08-30 11:10:12 · 390 阅读 · 0 评论 -
九大学习算法简介,玩转分类回归(python版)
机器学习资料多如牛毛,不乏西瓜书,统计学习方法等经典。但多数书籍凸显细节,以致掩盖算法本质,只有参数可调。本文试图避免复杂的公式推导和算法无关的代码,用少量公式和代码,展示算法最基本的组成,以便对机器学习有更加深刻的理解。线性回归机器学习定义五花八门,归结起来,就是得到变量之间的期望的依赖关系。欲拟合变量x,y所满足的线性关系y=ωx+b+ϵy=\omega x+b+\epsilony=ωx+b+ϵ这里的yyy广义上讲是标签, xxx则是特征,ω\omegaω是参数,bbb是偏置项,ϵ\epsilo原创 2020-08-27 09:27:22 · 263 阅读 · 0 评论 -
论文笔记:Large-Scale Object Detection in the Wild from Imbalanced Multi-Labels
这是中科院计算所的一篇讨论大规模目标检测的论文,主要解决多标签,类别不均衡的问题。论文地址在过去的几年里,目标检测领域取得很大的进步。Pascal VOC、MS COCO等具有高质量标注的通用目标检测数据集极大地推动了OD的发展。然而,这些数据集在今天看来是相当小的,并开始在一定程度上限制OD的发展。人们更多关注于数据集上的原子问题,而不是在更困难的场景中研究OD。Open Image标注过程是在深度学习的帮助下完成的,候选标签由模型生成并由人类验证。由于模型的不确定性和人类个体的知识有限性,这不可避免原创 2020-08-14 10:37:19 · 1811 阅读 · 2 评论 -
论文笔记:Simple and Scalable Predictive Uncertainty Estimation using Deep Ensembles
Balaji Lakshminarayanan Alexander Pritzel Charles Blundell DeepMind{balajiln,apritzel,cblundell}@google.com提出问题1. 神经网络容易产生过于自信的预测,而错误预测的代价不可接受,必须要估计不确定度。2. 让网络知道自己知道什么。在领域外预测(out-of-distribution)输...原创 2020-04-08 16:10:00 · 3205 阅读 · 1 评论 -
POD论文:AugPOD: Augmentation-oriented Probabilistic Object Detection
The Robotic Vision Probabilistic Object Detection ChallengeA CVPR 2019 Workshop – Long Beach, 17 June 2019Contributed Talk (1st place): AugPOD: Augmentation-oriented Probabilistic Object Detection. ...原创 2020-04-06 08:49:44 · 568 阅读 · 0 评论 -
论文记录:Probabilistic Object Detection via Staged Non-Suppression Ensembling
TeamGL at ACRV Robotic Vision Challenge 1:Probabilistic Object Detection via Staged Non-Suppression EnsemblingThe Robotic Vision Probabilistic Object Detection ChallengeA CVPR 2019 Workshop – Long ...原创 2020-04-04 11:11:59 · 910 阅读 · 0 评论 -
论文翻译:A Mask-RCNN Baseline for Probabilistic Object Detection
A CVPR 2019 Workshop – Long Beach, 17 June 2019论文链接Contributed Talk (2nd place): A Mask-RCNN Baseline for Probabilistic Object Detection. Phil Ammirato, Alexander C. Berg.搜狗翻译+人工校准时间仓促,比较粗糙,欢迎指出不足...翻译 2020-04-03 10:36:52 · 390 阅读 · 0 评论 -
Python 中文件的使用技巧
Python 中文件的使用技巧注意:目录也是特殊的文件基本函数:open,close,read,write不用多讲有时候需要注意encoding参数,默认utf8中英文都可以,GBK用于汉语记事本文件如果编码出错,用encoding ='ansi’即可str类型经过encode编程bytes,decode之后转换为str一个简单例子text = '汉字'txt = text.enc...原创 2020-02-23 21:09:19 · 99 阅读 · 0 评论 -
课堂作业讨论:智能驾驶技术
作业1路径规划直接贴代码example_test.m% This script is to help run your algorithm and visualize the result from it.% % Please see example_lidar first to understand the lidar measurements, % and see example_...原创 2019-07-01 15:42:37 · 662 阅读 · 1 评论 -
MATLAB GUI笔记
MATLAB GUI设计学习手记进度条绘图进度图片添加文字使用patch颜色数据说明编辑公式简易时钟交互曲线设置小结原书见https://www.ilovematlab.cn/thread-568839-1-1.htmlhttps://zhidao.baidu.com/question/571294365.html进度条clear; %清空基本工作空间的变量isCanceled = ...原创 2019-05-16 00:07:21 · 485 阅读 · 0 评论