weixin_42319617-CSDN博客

原创相对导入和命名冲突以及格式和工具的使用

这块代码还是得再熟悉下和数据相关的部分；顺便吐槽下vim编辑的格式，也许我真的该升级vim的版本了，它的好处在于让我可以专心在键盘上操作，不好在于python这种十分重视格式的地方，没有自动化的代码格式编辑，是真的不如用pycharm方便，可能主要是我还不是很熟悉vim的操作，装检查格式的插件flake8又遇到网络问题，还要各种配置感觉很烦，索性就把pycharm当编辑器了，因为版本的原因，没法加载我虚拟机里的解释器，所以每个工具有其主要的功能，发挥主要优势就行，不用所有工具都万能。

2024-04-02 13:24:13 234 6

原创 win11高效搜索本地文件

可能因为我使用虚拟机（因为我没有下载很多游戏软件或其他应用），在启动文件管理器的时候经常卡到崩溃，按照之前b站一篇文章的提示，可能是win11的搜索框跳转到文件管理器这个过程导致的显示问题，所以把文件管理器固定的任务栏，结果还是总忘了，下意识地在搜索，索性直接右击任务栏把搜索框隐藏了，用我的everything加载快而且查得全，并不会导致这种卡断的情况。另外也推荐大家保存文件时以文章名字或者通用的官方名称保存方便查找，下载东西之前也先在本地找以避免重复下载的工作。

2024-07-27 17:06:40 139

原创 csv覆盖

比如你用excel打开一个csv文件，然后你直接在下面按+新建shell，当你关闭之后，再打开，新建的shell中最上面那个会覆盖原来的csv文件，这一点特别要注意：你只是用excel打开了csv文件，不能用excel的逻辑再去编辑这个文件（我目前这么认为）索性新建的两个shell中一个有备份，保存的这份正好是我没有备份新建的一个，但是还是要注意这一点差别。

2024-07-17 23:22:27 109

原创定期整理pycharm相关缓存

看了下c盘的剩余空间，不管有没有问题，先把remote_sources这块压缩了吧，本想看下这文件夹多大，但是不知道怎么显示，结果使用压缩一搞，大约要用1小时，可见折腾了多少，有时候感觉就像自己脑袋里的东西一样，不定时清理，就一直拖着自己，运行不好，所以这块还是要注意保持好的习惯；但这也还是没有解决问题，只是暂时腾出空间，其实我用着pycharm习惯了，感觉也没有特别致命的缺陷，之前删了远程文件还是啥，debug的时候好像确实不正常，后来不知道怎么折腾好了。

2024-07-16 13:18:24 562

原创包管理器冲突-jupyter安装配置

但是还是感觉有点折腾，其实你用了IDE，人家就已经实现了这部分的功能，比如python console其实就类似这样，只不过你需要把已有的ipynb自己转一下格式，或者复制过来啥的，其实这么看似乎也没必要自己搞这么一下，但是毕竟还是不一样，可读性还是很重要的，包括操作的灵活性，而且python console里的代码应该很难导出或者保存吧，所以还是jupyter好用；甚至你可能用了mamba，当然这是对conda的替代，但是可能会引起包管理冲突的问题，尤其是在base环境中，所以最好是能做到环境隔离；

2024-07-13 18:40:47 803 6

原创在实践中补全对书本的理解

我真的感觉研究生阶段补全了很多以前初中高中大学和研究生上课期间老师们讲过的东西，正所谓没有白读的书，白走的弯路，我记得多年前看到一个视频里的人说：读书是为了让前人的路没有白白走过，大概是这么一句话；当走遍弯路，才明白什么叫要站在巨人的肩膀上，才明白自己的认识多么的浅薄，需要怎样虚心地向前辈学习；当我...的时候，我想起了初中数学老师说的数形结合思想，换元与化归的思想。当想象的空间像浩瀚的宇宙，而仍然困于这副肉身，才明白知行合一的重要性；

2024-06-02 12:59:40 231

原创养成定期整理缓存的习惯

这样一梳理之后发现很多问题自己都想过了，就像有些老师在分享自己工作的时候也提到了，sora的那个技术自己的团队也想过但是没有资源搞，怎么解决的呢，就是先生成一个4s的，以此为条件再生成一个8s的，大家都在尽力在适应自己的条件下探索和创新，没有谁能完全复现作者的条件对么，就像nnUNet说其实模型在不同的人手里有不同的性能，这来自很多不容易看见比较不容易度量的内容，比如环境安装，工程实现的细节，参数，甚至温度这些的，以前他们说这些细节的时候真的没太大感觉，自己实际做了些实验之后才明白事实就是这样。

2024-06-02 12:48:01 262

原创输入速度-输入法切换

这种问题就和你新开了什么服务，人家说要重启手机一样，其实更直接的做法是开飞行模式，然后再关掉，你能认识到是什么问题，在已知条件下就可以缩小范围，更有针对性，和今天去参观一个玉石店一样，人家说越细腻的越贵，大概是这道理，而且越是那些暗沉的，像是很久没擦的油油的包浆的，越贵（和田玉是这个特点，当然也不绝对，又扯远了）然后就解决了胖英文输入的问题，输入的速度也恢复了（不知道和进程是否有关）；

2024-05-25 17:08:17 159

原创学习大模型的反思能力

再补充一点，其实我们的情绪感受真的不那么重要，女生这方面尤其容易想多，凡事遇到困难，尽管别人嘲笑你了，甚至各种怎么对你，大多是价值观上让你觉得被欺侮了，其实应该厚着脸皮去问，既然都瞧不起我了，看来你有更好的解决方法嘛，那就说出来让我学习一下，这样的谦虚的心态也许能学到更多，大模型的反思能力就是建立在训练的基础上的，所以要多训练自己，提升对各种噪声扰动的抵抗力，不管自己的模型怎样，先提升自己的robust，相信你的模型一定也会跟着你好起来的；

2024-05-13 23:47:39 267

原创 AI指导学习行为

比如你听说到了最近的代理思想，你可能直接用到你的研究上很困难，但是你知道可以不用事事都自己从0开始，完全可以去找资料或者找淘宝代办一些很常规的小问题，让自己集中精力在主业上，但是如果你选择了wsl这样小众的系统，可能在淘宝上也找不到帮你忙的，人家都是商业驱动，比较务实，不会为了追求完美或者什么特别的需求来用wsl，所以在选择这类新技术的时候就需要充分交流，明确可能的利弊了，否则投入了大量时间精力进去，可能最后作用不直接不说，还贻害无穷的感觉，当然也没有那么严重了；

2024-05-13 13:41:34 364

原创大模型进展综述

今天参加中文信息学会在新疆理化所的论坛，想到会上赵老师说融会贯通的博客还很少，可能很多知识没有能普及到更广泛的群体，想到自己也多受益于公开的资源，而且其实会后有点怅然若失，有一些小绝望，也有一些希望，感觉普通人和大家的差距从可执行的层面来讲，更多还是在于习惯，跳出语言的局限性，认识到这一点，所以想坚持每天写两篇博客这个小习惯，也算是遵循现在生成式语言模型的范式，也希望能得到评论区各位的反馈信号，由于本人不是专业研究LLM的，只是本科时候有兴趣了解过一些，研究生阶段虽然隐式地在自己身上有一些具

2024-05-13 00:32:19 234

原创用自己的话去表达中间过程

当然如果你是带着问题，或者已经对类似的现象有了一些感悟的情况下，这个提炼的过程对你来说，就会更加的容易，也就是快捷，这也是通常认为的，你需要重复一件事，你才能提升做成这件事的速度，这个回路，是你不断优化而加强的，因为重复通常会导致烦躁，当人们无法忍受的时候，就会试着去改变了，那么创新就是在这样的地方发生的，比如你擦拭一个很油腻的杆子，出力气的人会用物理的方法，使劲用摩擦力来解决问题，这样是不用太多其他的投入，只要出力，结果就是杆子可能擦得很干净，但是抹布上沾染了很多油腻，然后再去洗抹布上的油腻；

2024-05-10 15:25:26 246

原创整理笔记，调研文献，管理项目

关于文献查询这方面，最近因为研究点不太明确，要重新调研，所以用xmind梳理了一篇综述的要点，然后依照里面的点，在excel里建了个q k v 的表，梳理查询词，关键词和查询结果，用到了google schoolar和dblp还有connectedPaper，感觉这几个都是效率工具，特别是搭配了easySchoolar可以显示sci或者其他期刊的分区和影响因子，能很快对文章做出判断，不过不显示顶会比如CVPR这些的分区属性和影响因子；但是因为调试什么的，不那么方便，我最后还是换回了pycharm；

2024-05-03 23:47:03 311 4

原创新建conda环境和换backbone的原则

说到这，我还是要说一说研究生和学长等前辈交流的必要性的，其实博士们的建议，就算你初学者再怎样也是要听的，毕竟是初学者，来上学还是要尽量和周围的学长同学啥的交流的，各方面都ok，网络上的东西再丰富，还是不能代替现实世界的情况，毕竟每个人看问题的角度关注的点都不一样，所以永远地珍惜当下吧，越长大越发现，每个人都只是陪自己一段，拥有的时候，珍惜吧。小结：新装环境或者新记录一个什么内容之前，先看看自己之前有没有做过类似的工作，大概率是有的对于喜欢从头开始的人来说，那么找到之后就在这个基础上改改，然后发现，很快的；

2024-04-20 23:55:21 739 1

原创模型和损失类别不匹配问题以及代码理解

简化问题就是意识到很多写法方法都是途径中的一种，不必非要如此，要根据实际数据的情况调整，包括整个网络的改动也是这样的，这样不会觉得一味地加加加才有作用，对于要改进的部分，一定要详细研究它在各种情况下的缺陷，研究其作用的最好方式就是去掉，看效果是不是变差了，然后分析原因，这样才方便考虑怎么加改进。要修改的核心代码逻辑，尝试自己写一写，花不了多久的，这个过程可以让你注意到每块代码的作用，然后对变量的作用有更好的理解，也就是给变量找了一个有语义的上下文；

2024-04-12 14:37:26 209 1

原创从文件模块导入看系统性学习的重要性

就像有文章认为全局变量会导致模块之间耦合度上升，需要小心维护，而一般哪些东西作为全局变量？一些常数，作为超参数或者数据输入，当然这是我的理解，在无论C++还是python里，都是分块解决问题，因为函数的规模限制，这里就要提到单一职责原则，类似在数学公式里也常见，把其他暂时不研究的变量作为常数，只看某个变量随着某个索引或者其他变量的变化，这样一个模块一个层次一个步骤地把问题具体化地解决，整个逻辑思路是清晰地，也是在遇到这些问题的时候提醒自己，要耐心地联系地看这些报错问题。

2024-04-07 14:57:27 409

原创查教程/调研的原则

学习的时候要去找官方的教程看，这是在学习第一手的资料，由于信息传递过程中，遇到各种环境条件不同和理解的偏差，很多信息失真了，虽然很多问题是常见的，你照着别人的情况解决了，但是很多情况下，问题又是很特定的，特别是你选了一条独特的技术路线，可能相关的资料就很少；论坛是个很好的吸取类似经验的地方，不管是kaggle还是github的评论区，都有很多可以找到比如数据链接或者某个常见问题的地方，这些都是交流的途径；最关键的是，知道和做到之间还有很远的距离，调研只是让我知道或大致了解，能有个方向上的判断；

2024-04-04 12:26:49 102 1

原创使程序正确识别cuda和cudnn

因为恢复在移动的时候提示权限问题，所以我修改了上述文件的权限，不知道是不是这个原因解决了程序找不到libcuda.so的报错，因为我已经把我知道的cuda相关文件的路径都添加了，而且所谓的冲突也就是常见的/usr/local/cuda下的文件也都删了（我其实不确定是不是冲突，但是因为conda里装了，所以把这块的文件删了，包括链接）；在模型加载的时候报错：找不到libcudnn.so.8:libcuda.so:open failed，类似的错误，我在bashrc里配置了。

2024-04-02 17:55:09 195 2

原创文件结构存放

因为上述错误对应的是对数据读取的缺失（搜到的），我第一次是把别的路径下的数据移动到当前项目文件夹下，但是移错了一层，导致我以为我移动到了正确的位置，然后我去检查目录的时候发现的，仔细看上述路径并不是你文件的实际路径，而是代码希望路径放在这个目录下，所以项目的ReadMe文件里可能没有说明这个结构，你需要从报错中自己调整，开始我担心要不要把ct和mr的文件放在一个目录里，但是现在有代码，其实就按照它预先的设定先这样放，然后就对了；在加载数据后：ValueError: mr_train_1001。

2024-04-02 17:38:05 126 1

原创有效阅读降低不确定性

官方文档比较严谨，连续性或者结构好，gpt的好处是交互，可以追问，但是有些问题的回答是错的，因为基于经验，而且一些内容没有根据特定版本更新，所以很细节的针对某个框架或者版本的用法可能是错的；rmi建立在这种机制上，为何训练到163好像还有很多不确定，这个应该是个别样本的原因，优化是基于这些特定问题做的；读完一个内容，确定感如果没有增加，那么信息量也就没有获取，这是检验学习是否有效的一个途径；

2024-03-23 22:02:29 146

原创写单元测试

valid_onehot_labels_4D = valid_onehot_labels_4D * label_mask_3D.unsqueeze(dim=3)#原本的维度是3，但是程序陷入睡眠状态，不知道在等什么事件。print("cri") #当报错说100 n 和 20 n不匹配的时候，不一定要把input的维数降下来，可以把target的补起来，如：4 2 5 5 和 4 5 5。

2024-03-19 13:25:44 366

原创数据加载问题

逐步修改（一边改一边测试）；查看并理解错误信息（这点我觉得很容易忽视）；具体来说，错误发生在试图调整图像大小时，出现了一个断言错误，说明尺寸是空的。因为这个错检查了一下午，顺便学了下pdb调试，感觉还是习惯的问题，初始引入的一个小错误，或者并不觉得那是错误，而是一个并不在需求之内的文件的引入，可能会导致后面训练完全不必要的这些错误，这似乎也是软件工程里一个观点：如果在测试阶段检查错误，是编码阶段检查出来的4倍还是多少，当然这是针对自己编码的情况，对于深度学习跑别人写好的模型，似乎这种时间开销无法避免；

2024-03-03 14:19:23 400

weixin_42319617的博客