
知识星球
文章平均质量分 55
分享经验、求职等
ViatorSun
深度学习算法工程师,Github开源世界贡献者,专注于『计算机视觉、多模态大模型』领域
展开
-
「解析」os.walk / os.listdir 扫描文件夹/文件
os.walk() 方法用于通过在目录树中游走输出在目录中的文件名,向上或者向下。os.walk() 方法是一个简单易用的文件、目录遍历器,可以帮助我们高效的处理文件、目录方面的事情。for root , dirs , files in os.walk(file_path): # 遍历文件 for f in files: print(os.path.join(root, f)) # 遍历所有的文件夹 for d in dirs: print(os.p原创 2022-03-04 15:23:31 · 424 阅读 · 0 评论 -
Novelty in Science —— A guide for reviewers
Reviewers have strong ideas about what makes a paper acceptable in top conferences like CVPR. They know that getting into such conferences is hard and that getting a paper in is prestigious. So, the papers that get in must be really special. This is true,翻译 2022-02-23 23:35:29 · 334 阅读 · 0 评论 -
「图文详解」Pycharm 远程服务器Debug
首先声明一点,社区版的无法使用,需要使用才可以使用,至于密钥可以去TB购入,价格低廉、有效期长相信很多小伙伴会面临本地电脑显存不够,但是服务器代码又无法直观的调试,只能靠打日志的方法查看结果,对于普通程序员可能勉强够用,但是对于一名深度学习算法工程师而言,这真的一点也无法接受,因为算法工程师对变量的各个属性以及变量的维度变化十分看中,这个是靠打日志无法实现的,所以必须上远程Debug方法,目前采用此方法使用了大半年了,基本跟本地Debug 一样,在此整理分享给大家,此外也为了方便日后,自己查阅。原创 2024-10-24 22:59:33 · 2658 阅读 · 0 评论 -
「解析」Windows 如何优雅使用 Terminal
所谓工欲善其事必先利其器,对于开发人员 Linux可能是首选,但是在家学习的时候,我还是更喜欢使用 Windows系统,首先是稳定,其次是习惯了。当然了,我还有一台专门安装 Linux系统的小主机用于学习Linux使用,在家的主力还是Windows。用习惯了Linux的 Terminal,Windows上的 cmd简直太拉夸,本文不敢保证 Windows上的 Terminal跟Linux上的一样,但是肯定比原生的cmd要舒服一些(其实还是使用 cmd/PowerShell,只是稍微配置下,更加顺手而已!原创 2024-01-05 01:17:47 · 1192 阅读 · 0 评论 -
「新版」PyCharm 加载conda Environment / Conda executableis not found
在新版的 PyCharm 配置中,设置Conda环境不再与旧版本保持一致,对于新手而言可能不清楚如何加载,作者也是郁闷了好久,经过一顿输出发现需要通过加载conda配置,才调取conda虚拟环境,而不再是直接调取conda的虚拟环境,更加智能化了,只是对于第一次而言,不是很直观,比较隐晦,具体操作如下。至此,新版的Pycharm 就完成了加载 conda的虚拟环境!如果使用已存在的环境,可以在下拉框中选择 conda创建的环境。,然后会发现 OK键不再是灰色的了,可以正常选择了。原创 2023-12-15 13:55:07 · 2062 阅读 · 0 评论 -
「颜控」联想NAS T1故宫联名款
不得不说,联想的这款故宫联名款 NAS T1颜值是真的高,作为普通的文件存储NAS是够用的,因为是入门款的NAS,因此并没有太多的应用支持,冲着颜值入手的。最多支持2*5TB。1、硬盘安装后会进行格式化,请提前备份好硬盘数据资料。3、禁止直接插拔电源,先使用APP进行关机后再断电。2、禁止带电热插拔硬盘,避免数据丢失或硬盘损坏。,选择对应的版本下载。原创 2023-02-22 21:40:40 · 321 阅读 · 0 评论 -
「日志」记录显卡GPU日志信息
但是以上方式都只能查看,并不能调取其中的显卡信息,因此,在做日志记录的时候并不是十分方便。在查阅过其他大神的方式后,发现 pynvml 库可以满足要求。最近踩坑比较多,很大原因就是日志记录不是很完整,因此,最近一直在学习日志的内容。其中有一点就是显卡的信息内容,虽然不是很重要的信息,但是也是有必要的。对于使用 logger 记录的小伙伴,可以直接将以下代码添加到 logger中,其中。可以获取主机名称,便于更好的记录日志。是必须的,否则无法使用。原创 2022-11-10 13:29:56 · 4930 阅读 · 0 评论 -
「炼丹」AutoDL炼丹日记
讲下博主为啥选择 AutoDL,其实最开始的时候,博主有一台2070和3080Ti,但是 显存都略小,一个8G一个12G,对于稍微大点的模型,Batchsize都很小,复现论文效果很都难,特别是在自己小论文需要的时候,就真的很缺设备。没办法,老师没钱,自己也买不起,只能将目光转移至云服务,对比了阿里云、腾讯云、百度云、华为云等,价格都贵的离谱,一小时动辄20+,一天下来就400+了,太贵太贵,一篇论文下来,都可以买两台显卡了。此外还有Colab 等云服务,不过没怎么体验过。当然了,如果小伙伴们用的是。原创 2022-10-24 00:00:00 · 13261 阅读 · 15 评论 -
维辰思便携显示器17.3英寸 2K 144Hz 色域配置
由于还没毕业,不考虑太大尺寸的,不希望毕业时拿着不方便,而且颜色要正,不能差太多,再者就是尺寸要合适,不能为了方便,搞得特别小,那就没意思了。逛了好几天JD,发现了国货维辰思,没怎么听说过,应该是个中厂吧,看了显示器的参数,京东方的液晶屏,显示器支持2k、144Hz刷新,一个TypeC信号线、一个HDMI信号线,外加TypeC电源线 和 USB扩展口,配置也还行,该有的都有。此外,显示器是有支脚的,收合时,一整块屏,也算不错,就拿下了。原创 2022-10-18 20:13:36 · 2192 阅读 · 0 评论 -
「日志」测试显卡 TFLOPS
对于深度学习而言,显卡的计算能力还是非常重要的,以下代码参考 沐神的分享,用于查看显卡的 TFLOPS性能,经作者测试,结果仅供参考,最开始测的是 30+,过了一会再测就成22+了,玄学,这绝对是玄学!...原创 2022-08-17 02:05:58 · 2622 阅读 · 18 评论 -
「Bug」问题分析 RuntimeError: CUDA error: device-side assert triggered
最近在训练模型的时候,跑着跑着会莫名其妙的报 并且提示 ,更甚者第一个 minibatch 就会出错,而且没有指出具体问题所在,这就比较困扰在网上查找大神们的解决方案的时候,发现给出的建议是 标签溢出 造成的,也有 NLP大神指出在 NLP 领域有可能是因为句柄长度溢出造成的问题分析 是因为维度范围溢出了,从而造成的 CUDA error 错误对于 CV 领域而言,大概率是 标签溢出,因此可以在标签读取的时候/loss 计算的时候,将 labels/pred 的 min()/max() 输出,查看是否原创 2022-06-10 19:35:59 · 1760 阅读 · 8 评论 -
「Bug」问题分析 RuntimeError:which is output 0 of ReluBackward0
对于使用Pytorch 的小伙伴,可能在复现模型时候出现了以下报错,这个错误是因为出现了 inplace operation 造成的,以下尝试了几种解决方案,方案4⃣️/5⃣️ 可行,希望对有同样问题的小伙伴有帮助!首先我们将错误定位到 [torch.FloatTensor [1, 128, 104, 160]] 位置,维度信息 有助于我们分析错误大概出现在哪一个分支上,然后再不断的缩小错误我也在往常查找了一些解决办法,例如:......原创 2022-06-06 17:20:01 · 5422 阅读 · 24 评论 -
Practical Advice for Building Deep Neural Networks
practical-advice-for-building-deep-neural-networks/In our machine learning lab, we’ve accumulated tens of thousands of training hours across numerous high-powered machines. The computers weren’t the only ones to learn a lot in the process, though: we ou.翻译 2022-03-04 22:51:04 · 189 阅读 · 0 评论 -
Pytorch 分类模板
分享一份 分类任务的 主函数文件,对于新人十分有帮助,对于老人也有一定的帮助# !/usr/bin/env python# -*- coding:utf-8 -*-# @Time : 2022.3# @Author : 绿色羽毛# @Email : lvseyumao@foxmail.com# @Blog : https://blog.csdn.net/ViatorSun# @Note :#""" It was started from an early ve原创 2022-03-02 12:20:03 · 805 阅读 · 0 评论