- 博客(46)
- 收藏
- 关注
RSS订阅原创 多卡GPU训练时的问题
由于这个代码很久没有跑过了，换了2.0的环境就出现这个问题，上网搜了一些资料，有说让代码中的CUDA_VISIBLE_DEVICES注释了，但由于本人是一个双卡的机器，只想用第二块显卡，如果注释了就会导致代码也会允许在第一块显卡运行。这行代码一定要放在代码的最前端(原因就是因为当你调用torch的时候，如果import进来的其他文件中import了torch，就因为执行.py文件时会优先import其他包中的torch)但这种方法比较麻烦，因为会导致你的代码需要多处的修改。
2023-09-17 11:23:00
1370
1
原创 ERROR: Command errored out with exit status 128: git clone -q https://github.com/jonbarron/robust_lo
在安装clip和taming-transformer的时候，出现标题的问题，根据关键字“ERROR: Command errored out with exit status 128”去检索发现，很多文章说把http改为git，但改完之后问题仍然存在。执行git config --global http.sslVerify"False"后，成功。，说是产生原因是因为服务器的SSL证书没有经过第三方机构的签署，所以才报错。
2022-08-22 10:14:34
2919
4
原创 CUDA Error： no kernel image is available for execution on device
最近在运行stable diffusion的时候，出现了这个问题。可以看到我的pytorch版本是1.12.1的版本，版本太低了，因此需要升级pytorch的版本。升级pytorch的版本很多，可以直接从。这一段的提示是我的显卡是3090的，算力与我安装的pytorch版本不对应。首先按照提示，进行debug：在程序的运行开始之前加上环境变量。可以很快的发现有一个usewarning。
2022-08-22 09:58:40
3370
原创 ImportError: /usr/local/cuda-11.2/lib64/libcublas.so.10: version `libcublas.so.10‘ not found
3.最后定位问题再pytorch的版本上，换了一个版本，升到1.8.1的版本就可以了，具体原因我猜测是由于1.12.1不支持11.2的cuda版本。nvcc --version 查看cuda版本。发现返回的true，说明环境没问题。1.首先查看了cuda的运行版本，2.查看tensorflow。发现是11.2的，正常；...
2022-08-10 10:51:25
833
转载 Pycharm crash on Linux: GPU process isn‘t usable. Goodbye. Trace/breakpoint trap (core dumped)解决办法
添加-Dide.browser.jcef.enabled=false。问题出在pycharm markdonw插件上。
2022-08-04 11:25:49
1251
转载 从正负样本解耦看对比学习为何需要large batch size训练Ddcoupled Contrastive learning (DCT)
转载自欢迎大家从原文观看，此篇只做转载加上自己的一些理解。
2022-08-04 09:47:02
678
原创 Towards Better Understanding of Self-Supervised Representations / Q-Score
ii）虽然在没有任何标签信息的情况下发现了鉴别特征，但我们观察到，它们在正确分类的表示中（在下游分类中）被强烈激活，在错误分类的表示中激活率较低（图5）；图3选择判别特征我们按照每个特征在总体中占dominant特征的次数（y轴）的升序绘制每个特征。1.一小部分特征占据主导地位（权重大）的特征，这些特征可能编码特定于图像的信息特征（即图3的下尾部）--------------这个意思是说，这一部分特征只有当图像是某一特定的类别，这一类的特征才会被激活dominant特征。Q分数也可以用作正则化项。.....
2022-07-28 11:28:21
740
原创 扩散模型Diffusion Model与DDPM
从概念上讲，这个diffusionmodel很简单，假设你有一个图片，记为X0，你每次对图像加一点噪声，加一次噪声记为Xt+1,不断对其加噪声，总共加T次以后，得到的图片基本可以说是一个噪声的图片了。最近DiffusionModel被用在于图片生成模型当中，当前很多的模型都在使用diffusionmodel作为生成范式，如GLIDE，DALLE2,Imagen，和一系列ImageEditing方法等等）但是2020年的DDPM之后，才开始逐渐火起来的，..................
2022-07-14 21:45:28
15147
4
原创 VAE生成模型（附VAE实现mnist代码）
本文是在基于此博客上的转载，如有讲述不清楚的地方，推荐原博客【学习笔记】生成模型——变分自编码器自编码器是一类在半监督学习和非监督学习中使用的人工神经网络，其功能是通过将输入信息作为学习目标，对输入信息进行表征学习。AutoEncoder 包括 编码器(Encoder) 和 解码器(Decoder) 两部分。Encoder 过程是将原先的（常用于图像方向）压缩为低维向量；Decoder 则是把低维向量还原为原来。因为自编码常用于图像方向，因为一张图每一个像素点都被看作是一个特征，所以随便一张现实中的图都属于
2022-07-13 16:01:51
8868
1
原创 AssertionError: size of input tensor and input format are different.
AssertionError: size of input tensor and input format are different.
2022-07-12 17:22:09
1796
原创 RuntimeError: CUDA error: device-side assert triggered
这是由于标签越界造成的。Assertion `indexValue >= 0 && indexValue < tensor.sizes[dim]：标签出现了小于0或者大于总数的情况，越界了。调试后发现代码中确实有一部分的标签被人为的-1。当类别为0，再减1就越界了。...
2022-07-09 16:11:43
1079
原创 [CVPR‘22 Oral2] TAN: Temporal Alignment Networks for Long-term Video
本文的目标是建立一个时间对齐网络，该网络吸收长期视频序列和相关的文本句子，以便：（1）确定句子是否与视频对齐；和（2）如果可对齐，则确定其对齐。面临的挑战是从大规模数据集（如HowTo100M）中训练这样的网络，其中相关的文本句子具有显著的噪声，并且在相关时只有弱对齐。除了提出对齐网络外，我们还做出了四个贡献：（i）我们描述了一种新的协同训练方法，该方法能够在噪声较大的情况下，不使用手动注释对原始教学视频进行去噪和训练；（ii）为了对对齐性能进行基准测试，我们手动curate了一个10小时的HowTo1
2022-06-22 21:53:41
866
原创 解决latex图片浮动的问题
问题：有时候图片放在文字下方，但最后显示的确是图片跑到了参考文献之后了。参考了网上的资料，大多数的做法是在开头加上：\usepackage[section]{placeins}但这样的话图片只会在section内，我们期望的是图片跟随着文字下方。也就是跟随在subsection之内。但没有\usepackage[subsection]{placeins}的参数。因此，可以在每个图后面加上\FloatBarrier，这样就不会浮动了。下面举个例子：\usepackage[section]
2022-05-27 10:40:07
10287
2
原创 TimeCLR: A self-supervised contrastive learning framework for univariate time series representation
时间序列分类 自监督对比学习motivation：cv能取得这么好的效果是因为有数据增强， 而时间序列的表现差的原因是因为数据增强和特征提取器（backbone）不适用于提取时序依赖关系。innovation：一句话总结：在TimeCLR的基础上，加入DTW数据增强策略，网络用inceptionTime替换。AbstractTime series are usually rarely or sparsely labeled, which limits the perfo
2022-05-26 16:41:47
1435
原创 MoCO ——Momentum Contrast for Unsupervised Visual Representation Learning
Title: Momentum Contrast for Unsupervised Visual Representation Learning作者：Kaiming He Haoqi Fan Yuxin Wu Saining Xie Ross Girshick发表单位：Facebook AI Research(FAIR)关键词：clip、多模态论文：https://arxiv.org/pdf/1911.05722代码：https://github.com/facebookresearch
2022-05-23 08:47:07
2544
1
原创 【多模态】CLIP模型
Title: Learning transferable visual models from natural language supervision作者：Alec Radford * 1 Jong Wook Kim * 1 Chris Hallacy 1 Aditya Ramesh 1 Gabriel Goh 1 Sandhini Agarwal Girish Sastry 1 Amanda Askell 1 Pamela Mishkin 1 Jack Clark 1 Gretchen Kruege
2022-05-22 16:01:31
6465
原创 Git 常用命令
git init #第一步初始化，生成git的一些文件git add “read_me.txt” #添加文件到缓存区git commit -m "this is first time to revise" # 提交，-m代表提交说明git remote -v #查看有哪些远端连接仓库git remote add origin git@github.com:xxx/xx #连接GitHub仓库git remote remove origin #删除连接git remote -u ori
2022-05-22 11:15:01
163
原创 使用Git将代码上传至Github
1、首先在GitHub上设置自己的公钥。1.生成公钥（如果有了，可以忽略此项）ssh-keygen -t rsa -C "邮箱2.将生成的公钥（.ssh/id_rsa.pub文件里的内容）填在GitHub的SSH设置中。（personal->settings>SSH and GPG keys>New SSH key）2、在Github上创建一个仓库repository得到一个ssh的地址3、 关联仓库git关联远端（DANet是自己取的.
2022-05-22 11:11:11
156
原创 Git管理工具
这里可以推荐一个网址，Git教程 - 廖雪峰的官方网站如有不足之处，可指出。Git是什么？Git是目前世界上最先进的分布式版本控制系统（没有之一）。Git有什么特点？简单来说就是：高端大气上档次！那什么是版本控制系统？如果你用Microsoft Word写过长篇大论，那你一定有这样的经历：想删除一个段落，又怕将来想恢复找不回来怎么办？有办法，先把当前文件“另存为……”一个新的Word文件，再接着改，改到一定程度，再“另存为……”一个新文件，这样一直改下去，最后你的Word文档变成
2022-05-22 09:09:58
4750
原创 PPT的技巧
PPT是一个非常重要的内容，不管是在学校还是在企业，都是为了让同行和非同行迅速了解你的一个东西。PPT的大家都知道应该要多图少字，但具体要怎么做？如果是高校人员，有学校模板，直接套用模板即可，企业也通常有自己通用的模板。 字白底黑字。 保持一个主色调，颜色不要太多，例如要做3个产品的对比，那3个产品就对应一种颜色，保持颜色在整个ppt的一致性，不要在下一页ppt就换了其他的颜色。 中文字用黑体，英文字用Arial，如果有图表的字是没办法修改的，也可以保留图表里的字体，但是如果字太小了，还是需要处理
2022-05-21 10:01:01
151
转载 计算机底层——指令
指令是由操作码和地址码组成的。在之前程序的执行_想搞钱的小陈的博客-CSDN博客提到，load指令将内存中的数据导入寄存器，我们携程了16进制:9x8c000100，拆分为二进制就是100011 0000 00000000000000100000000000指令编码 寄存器R0 内存地址0x100最左边的6位就是操作码，英文名是OpCode，100011代表load指令；中间的4位是寄存器的编号，这...
2022-05-21 09:03:12
2734
转载 程序的执行
CPU执行指令时：1、首先，CPU读取程序计数器（PC，program counter）指针指向的指令，将它导入指令寄存器（IR, Instruction Register），具体来说，完成读取指令有3个步骤：CPU的控制单元操作地址总线指定需要访问的内存地址。（简单理解，就是把PC指针中的值拷贝到地址总线中）。 CPU通知内存设备准备数据。 CPU收到内存传来的数据后，将这个数据存入指令寄存器。完成以上3步，CPU成功读取了PC指针指向指令，存入了指令寄存器。然而，CPU分析指令寄存器中
2022-05-21 08:50:05
603
原创 程序的内存模型
内存分区模型。内存分为4个区域，分别为代码区，全局区，栈区，堆区。（一）代码区和全局区在程序编译后，会生成一个exe的可执行程序，未执行该程序前分为两个区域，代码区和全局区。代码区存放函数体的二进制代码，由操作系统进行管理。 存放CPU执行的机器指令。 代码区是共享的，共享的目的是对于频繁被执行的程序，只需要在内存中有一份代码就可，去掉冗余的代码。 代码区是只读的，只读的目的是防止程序被修改它的指令。全局区存放全局变量和静态变量(static int a), 包含了常量区，（
2022-05-21 08:33:46
205
原创 CPU的寄存器
寄存器是CPU的组成部分，寄存器可以用来暂存指令、数据和地址（这些是程序执行的关键）。在CPU至少要存在6种寄存器指令寄存器（IR） 程序计数器（PC） 地址寄存器（AR） 数据寄存器（AC） 累加寄存器（AC） 程序状态字寄存器（PSW）指令：操作码+地址码数据寄存器Data Register,主要用来由主存（内存）读取的一条指令或一个数据字。（一个字=16bit）地址寄存器Address Register, 来保存CPU当前所访问的主存单元的地址。由于在主存和CP
2022-05-21 08:31:45
882
原创 latex公式正体和斜体
latex默认公式是斜体的，有时候需要正体，可以用\rm去修改。例如\begin{align} H=F_{ex}\left(Z\right)= W_{2}{\rm ReLU} (W_{1}Z),\end{align}显示出的效果为（忽略蓝色字体）总结：用一个花括号{}将需要正体的文字括起来，前面加个\rm即可。...
2022-05-20 09:20:08
19230
转载 半监督之mixmatch
自洽正则化：以前遇到标记数据太少，监督学习泛化能力差的时候，人们一般进行训练数据增广，比如对图像做随机平移，缩放，旋转，扭曲，剪切，改变亮度，饱和度，加噪声等。数据增广能产生无数的修改过的新图像，扩大训练数据集。自洽正则化的思路是，对未标记数据进行数据增广，产生的新数据输入分类器，预测结果应保持自洽。即同一个数据增广产生的样本，模型预测结果应保持一致。此规则被加入到损失函数中，有如下形式，其中 x 是未标记数据，Augment(x) 表示对x做随机增广产生的新数据， θ是模型参数，y 是模型预测结.
2022-03-31 15:52:12
2842
原创 论文写作tip2
这篇主要介绍学术风格。1、学术写作是基于证据的。也许书面学术风格最重要的显著特征是它是以证据为基础的。作家们用与他们学科相关的知识体系的证据来支持他们的论点和主张。此外，任何进行的研究都必须参考该领域之前的工作。因此，学术文本中充满了对其他作者的归属和对先前研究的参考。2、学术著作包含许多古典词汇与日常英语不同，学术写作的特点是高频率的古典词汇(希腊语和拉丁语)。其主要原因是，拉丁语是欧洲文艺复兴时期的语言学术，换句话说，它是学者的国际语言。直到最近，伟大的科学著作，如牛顿的《自然哲
2022-03-26 16:24:19
362
原创 论文tips
论文投稿的tip:1、审稿人不会花很长时间读论文，毕竟大家都很忙。核心contribution一定要写清晰。2、基于1，工作量是重中之重。3、不要有语法问题，可以用grammarly查查。4、不要出现未定义的变量或含糊不清的变量，如果有一些名词，一定要有引用或者对其解释，解释它与论文的关系。5、不要用一些反常的名词。6、效果要超过baseline。7、在introduction部分最好加个图，一篇好的论文是希望能通过introduction就能知道你的工作。图>表>文
2022-03-16 13:40:04
1266
原创 How do vision transformer work?【论文解读】
ICLR 2022的spotlight。原论文地址：https://arxiv.org/abs/2202.06709你懂的VIT吗？论文的核心是在证明VIT的优化曲面对比ResNet要好很多。Abstract1、注意力机制有助于提升泛化能力，因为会使损失函数平滑化。2、VIT的进步是因为数据特异度（specificity）高，不是因为长距离依赖性。（当前很多人认为VIT work的原因是因为VIT的距离比较长，不像CNN只有一个短局部的信息建模）3、VIT会受非突的损失函数的
2022-03-16 10:47:27
2600
转载 label propagation 标签传播
最近在研究时间序列的半监督算法，看到这个算法，就记录了下来。转载自：标签传播算法（Label Propagation）及Python实现_zouxy09的专栏-CSDN博客_标签传播算法半监督学习（Semi-supervised learning）发挥作用的场合是：你的数据有一些有label，一些没有。而且一般是绝大部分都没有，只有少许几个有label。半监督学习算法会充分的利用unlabeled数据来捕捉我们整个数据的潜在分布。它基于三大假设：1）Smoothness平滑假设：相似的数据具..
2022-03-02 09:51:36
2460
1
原创 EfficientNet
论文：https://arxiv.org/pdf/1905.11946.pdf代码：GitHub - qubvel/efficientnet: Implementation of EfficientNet model. Keras and TensorFlow Keras.摘要卷积神经网络当前的很多参数是需要人工去调整的，例如depth,width,resolution，也就是卷积核的核个数、步长等，我们无法去遍历所有的参数去搜索最优的模型，该论文提出了一个新的模型缩放方法。介绍：
2022-01-05 14:39:50
1529
原创 origin如何作一张图中多张子图是柱状图（或其他图）
结果先上结果图步骤1先填入数据，如XY1Y2Y3Y4对应的是第一张图的XY1，第二个图的XY2....步骤2：填完数据点选上方 绘图->多窗格图->4窗格图步骤3：对于每个图层添加各自的绘图类型，例如，图层1添加柱状图可以点击“预览”查看效果步骤4：最后根据自己的需求，修改xlabel和ylabel等等。...
2022-01-05 10:58:36
8531
1
原创 compute_class_weight() takes 1 positional argument but 3 were given
调用sklearn的compute_class_weight提示错误”compute_class_weight() takes 1 positional argument but 3 were given“这是因为comput_class_weight传入的时候最好把关键字带上，如果不带上关键字，可以会被认为只有一个参数，这是sklearn中的源码。def compute_class_weight(class_weight, *, classes, y): """Estimate cla.
2022-01-05 10:45:00
6504
1
转载 箱型图介绍
转载自：箱形图怎么看，以及它反映了什么？ - 知乎箱型图的特点直观明了地识别数据批中的异常值 利用箱线图判断数据批的偏态和尾重不受异常值的影响，可以以相对稳定的方式描述数据的离散分布。（图片来源自知乎）。解释分位数：把数值从低到高排序，取到1/4的位置，称之为下四分位数（Q1）；取到1/2的位置，称之为中位数（Q2）；取到3/4的位置称之为上四分位数（Q3）；import pandas as pdnum = [1,2,3,4,5,6,7,8]print(pd.D
2022-01-04 10:53:35
1154
原创 微博评论爬虫+可视化
通常我们在复制url的时，url的最后一位为用户id，取出用户id，替换url;例如url: https://m.weibo.cn/status/4661133254069552?我们要爬取此网页，要找到其数据的json文件，可以直接F12，network，CTRL+F搜索comment（如果没有网络文件，就刷新一下），得到对应comment json的URL，把URL中的id进行替换。如图然后对url得到的json文件读取就可以得到评论数据。先暂缓--------------.
2021-12-04 16:49:38
945
转载 【无标题】多模态模型 CLIP
论文和代码链接https://arxiv.org/pdf/2103.00020.pdfhttps://github.com/openai/CLIP提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录系列文章目录 前言 一、pandas是什么？ 二、使用步骤 1.引入库 2.读入数据 总结介绍CLIP是一个双模态的任务，例如输入一句句子，输出一个图像；之前有一些工作是通过图像预测文字描述，而CLIP是通过文字输出图像；亮点1、双
2021-11-30 16:34:44
1069
原创 torch‘ has no attribute ‘inference_mode‘
torch' has no attribute 'inference_mode'
2021-11-30 11:17:32
5503
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人