- 博客(73)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 持续学习-初识
1.ref:https://blog.csdn.net/zyy617532750/article/details/104217399问题定义我们人类有能够将一个任务的知识用到另一个任务上的能力，学习后一个任务时也不会忘记如何做前一个任务。这种能力叫持续学习 (continual learning/ life-long learning) 。而这个能力归结起来主要有两个问题：如何能把之前任务的经验用上，使得更快更好的学习当前任务；学习当前任务时，不会忘记之前已经学会的任务。用更专业的术语
2022-05-17 15:55:38
939
原创 Transformer
1.最新最全的视觉 Transformer 综述请查收！https://zhuanlan.zhihu.com/p/433048484
2022-05-17 15:21:32
408
原创 细小目标分割预研
ref:Ref: https://zhuanlan.zhihu.com/p/398546919背景而且目标的像素比例比较小，使网络训练较为困难。相 对于常规尺寸的目标，小目标通常缺乏充足的外观信息，因此难以将它们与背景或相似的目标区分开 来。在深度学习的驱动下，尽管目标检测算法已取得了重大突破，但是对于小目标的检测仍然是不尽 人意的。在目标检测公共数据集 MS COCO［1］上，小目标和大目标在检测性能上存在显著差距，小目标 的检测性能通常只有大目标的一半。由此可见，小目标检测仍然是充满挑战的。此外，真
2022-05-17 14:44:10
6518
原创 分割预研 -- 2022.5
研究现状受到阈值分割方法的启发，在早期图像分割常用传统的阈值分割方法结合具体的使用场景手动设计特征并调参进行场景分割，基于阈值的二值分割的算法得到广泛应用。这一系列基于传统图像处理技术的分割方法有着较大的局限性，适用的分割场景也较为简单，容易受到光照环境变化干扰，泛化能力不足。因此阈值分割算法逐渐被基于聚类的方法取代。虽然基于聚类的无监督方法可以获得一定的场景泛化能力来应对光线变化，但仅使用二维图像对复杂场景分割的精度依旧有限且难以进行场景感知，亦存在较多局限性。针对室内场景目标多种多样，各目标之间差
2022-05-17 14:30:09
818
原创 遇到的报错 python
1.TypeError: ‘module’ object is not callable 原因分析遇到命令冲突，文件夹的名字与.py的有重名的2.can’t get tensor rep访问索引超界
2022-05-17 14:04:41
158
原创 Latex更改参考文献格式
可对BST文件进行修改来控制参考文献的格式STRINGS { bibinfo}FUNCTION {format.names}{ 'bibinfo := duplicate$ empty$ 'skip$ { 's := "" 't := #1 'nameptr := s num.names$ 'numnames := numnames 'namesleft := { namesleft #0 > } { s nameptr "{vv~}{ll
2022-03-01 17:56:06
2285
1
原创 multi-task
转载于：https://zhuanlan.zhihu.com/p/59413549 背景：只专注于单个模型可能会忽略一些相关任务中可能提升目标任务的潜在信息，通过进行一定程度的共享不同任务之间的参数，可能会使原任务泛化更好。广义的讲，只要loss有多个就算MTL，一些别名（joint learning，learning to learn，learning with auxiliary task） 目标：通...
2021-09-07 21:36:23
931
1
原创 plt可视乎
1.TSNE-cuda加速tsne的运算https://github.com/CannyLab/tsne-cuda2.tsne设置颜色：https://matplotlib.org/3.1.1/gallery/color/colormap_reference.html3.plt设置分辨率https://blog.csdn.net/weixin_34613450/article/details/806785224.cmchttps://rayhy.com/blog/20190223-reid%
2021-09-07 19:58:42
105
原创 神经网络相关
学习速率• 在优化算法中更新网络权重的幅度大小• 优先调这个LR：会很大程度上影响模型的表现• 如果太大，会很震荡，类似于二次抛物线寻找最小值• 一般学习率从0.1或0.01开始尝试• 通常取值[0.01, 0.001, 0.0001]• 学习率一般要随着训练进行衰减。衰减系数设0.1，0.3，0.5均可，衰减时机，可以是验证集准确率不再上升时，或固定训练多少个周期以后自动进行衰减。• 有人设计学习率的原则是监测一个比例：每次更新梯度的norm除以当前weight的norm，如果这个值在10e
2021-04-17 21:33:14
114
原创 深度学习之神经网络
1.LeNet5：最早的卷积神经网络，卷积层+AveragePooling+全连接2.Alexnet详解亮点3.VGG4.NIN，1 * 1卷积核 （Network in Network）注：1x1卷积一般只改变输出通道数（channels），而不改变输出的宽度和高度 降维/升维...
2021-04-17 21:32:02
118
原创 图像处理相关知识
1.梯度可以通过很多算子来计算sobel可用于计算不同方向的梯度2.图像质量评价方法2018全参考图像质量评价方法整理与实用性探讨3.Wasserstein距离学习笔记
2021-04-11 17:28:33
66
原创 try-exctpt
try: print(x)except: print("An exception occurred")可以用来处理可能不存在改属性的代码块 #不存在的则为0 try: SpacingBetweenSlices=RefDs.SpacingBetweenSlices except : SpacingBetweenSlices=0
2021-04-07 21:45:54
72
原创 Java笔试 输入输出
nextLine()笔试技巧 java数据输入1.输入为数字：scan.nextInt() scan.nextDoubel() scan.nextFloat()2.输入字符串 用scan.next()或者scan.nextLine()next读到空格处就不读了，nextLine()读一行3.循环输入import java.util.ArrayList;import java.util.Scanner;Scanner scan=new Scanner(System.in)while(
2021-03-22 22:27:41
294
原创 算法面经
文章目录自我介绍项目（介绍项目，针对项目中的问题提问）准确率 精准率 召回率过拟合权值共享每个像素都有一个权系数 ，系数被整个图片共享， 减少卷积核中的参数量，卷积操作利用了图片空间上的局部相关性 特征自动提取。权值共享意味着每一个卷积核只能提取到一种特征，为了增强CNN的表达能力，就需要多个核。集合的划分（测试集的划分)https://zhuanlan.zhihu.com/p/50221679补充说明 按一定比例划分为训练集和测试集-留出法：随机
2021-03-19 21:43:45
95
原创 机器学习中分类器的性能评价指标
文章目录准确率（accuracy）精确率（precision）召回率（recall）F1 scoreROC曲线以及AUC面积准确率（accuracy）Accuracy = (TP+TN)/(TP+FN+FP+TN)，即正确预测的例数 /总数样本不均衡时失效精确率（precision）预测为正的样本多少是真的Precision = TP/(TP+FP)，即正确预测的正例数 /预测正例总数召回率（recall）在实际正样本中，分类器能预测出多少Recall = TP/(TP+FN)，即正确
2021-03-19 21:13:36
428
原创 卷积层、BN层
文章目录1.Bn层详解2.卷积神经网络相关激活函数过拟合1.Bn层详解https://blog.csdn.net/qq_37100442/article/details/817761911)BN层在网络中的作用BN层是一种批规范化操作，公式为减均值除标准差，然后乘γ加β。将输入分布归一化到0，1分布，使得激活函数更好的作用，因此解决了梯度消失的问题。同时由于数据被归一化，使得网络可以有更好的收敛速度。但是似乎没有证据表明它可以解决高层的网络输入分布变化剧烈的问题（Internal Covariat
2021-03-19 20:57:12
1934
原创 欧几里德结构数据(Euclidean Structure Data) 以及非欧几里德结构数据(Non-Euclidean Structure Data)
总的来说，数据类型可以分为两大类，分别是：欧几里德结构数据(Euclidean Structure Data) 以及 非欧几里德结构数据(Non-Euclidean Structure Data)，接下来谈自己对这两类数据的认识。欧几里德结构样本在我们日常生活中，最常见到的媒体介质莫过于是图片(image)和视频(video)以及语音(voice)了，这些数据有一个特点就是：“排列整齐”。什么...
2021-03-10 14:42:20
2342
1
原创 git简要
标题为什么学习git在科研的道路上我们会不可避免的接触到GitHub并会对它产生依赖。虽然说“代码搬运工”这个词并不好听，但是我仍觉得在GitHub上找寻开源的代码并在其基础上改进，对我们的科研进度会有大大的提升，所以我始终觉得这是个利大于弊的事。但是Git的作用并不只是让大家分享自己的代码，它还是一个非常强力版本控制器。最近在用Latex撰写论文的时候，老师就让我用git来share我的latex文档。一开始我觉得这相当麻烦，明明有更方便的overleaf可以使用，完全没必要使用git，但是没办法，老
2020-12-27 17:01:20
113
1
原创 Max Pooling和 Average Pooling的区别，使用场景分别是什么？
池化操作时在卷积神经网络中经常采用过的一个基本操作，一般在卷积层后面都会接一个池化操作，但是近些年比较主流的ImageNet上的分类算法模型都是使用的max-pooling，很少使用average-pooling，这对我们平时设计模型时确实有比较重要的参考作用，但是原因在哪里呢？通常来讲，max-pooling的效果更好，虽然max-pooling和average-pooling都对数据做了下采样，但是max-pooling感觉更像是做了特征选择，选出了分类辨识度更好的特征，提供了非线性，根据相关理论，特
2020-12-27 16:59:26
1661
原创 java开发
1.https://snailclimb.gitee.io/javaguide/#/2.http://www.cyc2018.xyz/#%E7%AE%97%E6%B3%953.https://crossoverjie.top/2019/05/20/concurrent/threadpool-01/4.https://javadoop.com/post/spring-ioc
2020-12-01 16:02:53
99
转载 软链接 服务器上的文件映射
创建软链接即用 ln -s 原始文件或文件夹 目标文件或文件夹说明:因为空间有限,不改变原来程序文件，再继续读取/data/ftp目录内容，只需要在/data2/上面建立软连接.例：#建立软链接mv /data/ftp /data2/ln -s /data2/ftp /data/ftp#删除软连接#当删除链接文件时,如果不小心会把原始文件删掉rm /data/ftp#只是少了一个“ / ” 删除的 就是链接文件, 也就是在文件的最后不要加上"/"结论：在删除文件时要小心在删除软
2020-10-15 10:44:49
550
原创 multi-task
新手第一次接触multi-task，记录一下自己的学习解决过程。文中引用较多，感谢各位大神的讲解。在一个端到端训练的网络中，如果最终的loss = aloss1+bloss2+c*loss3…,对于a,b,c这些超参的选择，有没有什么方法？链接：https://www.zhihu.com/question/375794498大佬分型的一些有趣的研究视角，文章还未深读，但是评论区似乎都说不太work.为什么把多个相关的任务放在一起学习，可以提高学习的效果？ref:https://www.coden
2020-09-08 16:31:50
2890
原创 2020-09-08
UNet最初在2015年的MICCAI会议上发表，4年多的时间，论文引用量已经达到了9700次。UNet成为了主要做医疗影像语义分割任务的尺度，同时也启发了研究者针对U型网络结构的研究，发表了基于UNet网络结构的改进方法的论文。U型网络结构，最主要的两个特点是：： U型网络结构和跳过连接跳层连接！[在这里插入图片描述（https://img-blog.csdnimg.cn/20200721180240339.png?x -oss-process =图像/水印，type_ZmFuZ3poZW5naGVp
2020-09-08 14:42:08
160
原创 交叉熵损失（Cross Entropy Loss）计算过程
https://blog.csdn.net/guolindonggld/article/details/79250642
2020-07-21 19:20:27
880
原创 Numerical Coordinate Regression=高斯热图 VS 坐标回归
论文地址：https://arxiv.org/abs/1801.07372开源地址：https://github.com/anibali/dsntnn1 创新点这篇文章我本人非常喜欢，因为这个问题困扰我很久了，后面会细说。当看到这篇文章的时候我确实蛮激动的，后面发现还有几篇同样思路的论文，看来还是论文看的太少了。目前的数值坐标回归任务存在于大量的实际需求中，例如人体关键点检测、人脸关键点检测、物体关键点检测和3d姿态，这些问题本质任务都可以归纳为数值坐标回归，故本文研究的是该类问题的一个通用解决办法
2020-07-21 19:16:14
2429
原创 数据增强
一、https://blog.csdn.net/weixin_40793406/article/details/84867143卷积神经网络非常容易出现过拟合的问题，而数据增强的方法是对抗过拟合问题的一个重要方法。图片增强，使得训练的数据集比实际数据集多了很多’新’样本，减少了过拟合的问题。常用的数据增强方法如下：1.对图片进行一定比例缩放 Resize2.对图片进行随机位置的截取torchvision.transforms.RandomCrop() 传入的参数就是截取出的图片的长和宽，对图片
2020-07-21 18:55:20
941
原创 关于调参
https://blog.csdn.net/angnuan123/article/details/816047271.关于优化器self.optimizer = torch.optim.RMSprop( self.model.parameters(), lr=learning_rate, weight_decay=reg_par)2.关于学习率的调整（1）首先在一开始的时候我们可以给我们的网络赋一个“经验性”的学习率lr=1e-3（2）给不同层给予不同的学习率# 直接对不同的网络模块制定不同学
2020-07-21 18:54:18
772
原创 多分类--dice acc计算
对于多分类的dice acc的计算有两种常用方式，见2/3。传入dice()函数计算的都为one-not编码形式1.one hot编码def convert_to_one_hot_batch(seg): res = np.zeros([seg.shape[0],4,seg.shape[1],seg.shape[2]], seg.dtype) #20,4,256,256 for i in range(len(seg)): res[i]=convert_to_one_h
2020-07-21 18:51:24
4260
原创 UNet语义分割网络
UNet最早发表在2015的MICCAI会议上，4年多的时间，论文引用量已经达到了9700多次。UNet成为了大多做医疗影像语义分割任务的baseline，同时也启发了大量研究者对于U型网络结构的研究，发表了一批基于UNet网络结构的改进方法的论文。UNet网络结构，最主要的两个特点是：U型网络结构和Skip Connection跳层连接。UNet是一个对称的网络结构，左侧为下采样，右侧为上采样。按照功能可以将左侧的一系列下采样操作称为encoder，将右侧的一系列上采样操作称为decoder。
2020-07-21 18:09:00
1434
1
原创 PyTorch中 nn.Conv2d与nn.ConvTranspose2d函数的用法
1.通道数问题描述一个像素点，如果是灰度，那么只需要一个数值来描述它，就是单通道。如果有RGB三种颜色来描述它，就是三通道。最初输入的图片样本的 channels ，取决于图片类型；卷积操作完成后输出的 out_channels ，取决于卷积核的数量。此时的 out_channels 也会作为下一次卷积时的卷积核的 in_channels；卷积核中的 in_channels ，上面已经说了，就是上一次卷积的 out_channels ，如果是第一次做卷积，就是样本图片的 channels 。举个例
2020-07-21 17:04:42
767
原创 双线性插值详解
参考链接：1.http://www.cnblogs.com/linkr/p/3630902.html2.http://www.cnblogs.com/funny-world/p/3162003.html双线性插值假设源图像大小为mxn，目标图像为axb。那么两幅图像的边长比分别为：m/a和n/b。注意，通常这个比例不是整数，编程存储的时候要用浮点型。目标图像的第（i,j）个像素点（i行j列）可以通过边长比对应回源图像。其对应坐标为（i*m/a,j*n/b）。显然，这个对应坐标一般来说不是整数，
2020-07-21 16:59:46
1281
原创 如何在Pytorch中精细化利用显存
感谢博主的分享：如何在Pytorch中精细化利用显存显存优化在Pytorch中优化显存是我们处理大量数据时必要的做法，因为我们并不可能拥有无限的显存。显存是有限的，而数据是无限的，我们只有优化显存的使用量才能够最大化地利用我们的数据，实现多种多样的算法估测模型所占的内存一个模型所占的显存无非是这两种：模型权重参数模型所储存的中间变量其实权重参数一般来说并不会占用很多的显存空间，主要占用显存空间的还是计算时产生的中间变量，当我们定义了一个model之后，我们可以通过以下代码简单计算出这个模
2020-06-07 23:59:25
219
原创 如何计算模型以及中间变量的显存占用大小
感谢博主的分享：计算模型以及中间变量的显存占用大小前言OUT OF MEMORY，显然是显存装不下你那么多的模型权重还有中间变量，然后程序奔溃了。怎么办，其实办法有很多，及时清空中间变量，优化代码，减少batch，等等等等，都能够减少显存溢出的风险。但是这篇要说的是上面这一切优化操作的基础，如何去计算我们所使用的显存。学会如何计算出来我们设计的模型以及中间变量所占显存的大小，想必知道了这一点，我们对自己显存也就会得心应手了。计算首先我们应该了解一下基本的数据量信息：1 G = 1024 MB
2020-06-07 23:50:19
1724
原创 卷积神经网络中参数量的计算与模型占用显存的计算
感谢分享https://oldpan.me/archives/pytorch-gpu-memory-usage-track如何计算模型以及中间变量的显存占用大小前言前面我们已经介绍过如何计算模型以及数据等如何计算其占用的显存大小。亲，显存炸了，你的显卡快冒烟了！torch.FatalError: cuda runtime error (2) : out of memory at /opt/conda/conda-bld/pytorch_1524590031827/work/aten/src/THC
2020-06-07 23:33:25
2099
1
原创 压缩与解压
1.linux下压缩文件夹与解压感谢博主的分享：压缩与解压1.压缩：命令：tar -zcvf /home/xahot.tar.gz /xahottar -zcvf 打包后生成的文件名全路径 要打包的目录例子：把/xahot文件夹打包后生成一个/home/xahot.tar.gz的文件。2.解压：linux解压缩示例：tar -zxvf /root/Desktop/aa.tar.gz -C /aa/bb 解压文件3.windows下直接用winrar解压工具解压即可...
2020-06-07 15:19:04
101
原创 heatmap
关于回归heatmapef getDis(pointX,pointY,lineX1,lineY1,lineX2,lineY2): a=lineY2-lineY1 b=lineX1-lineX2 c=lineX2*lineY1-lineX1*lineY2 dis=(abs(a*pointX+b*pointY+c))/(pow(a*a+b*b,0.5)) return dis# # Compute gaussian kerneldef CenterGaussian
2020-06-03 22:43:44
548
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人