我的科研之路~
文章平均质量分 59
目及所处之地,皆是我等研究之内~
文三路张同学
在读浙大计算机博士,研究方向3D vision,欢迎大家关注我:https://github.com/Ruiyuan-Zhang/
展开
-
pip安装pytorch3d时如何快速确定版本
【代码】pip安装pytorch3d时如何快速确定版本。原创 2024-07-07 15:57:23 · 175 阅读 · 0 评论 -
libcudart.so libcuda.so之间什么关系呀?
libcudart.so libcuda.so之间什么关系呀?我看网上的文章说这两个不能相互替代,但是在。原创 2024-06-25 17:24:29 · 82 阅读 · 0 评论 -
[Debug] 在vscode中打开的`.ipynb` 时的路径可能会是第一次打开的位置,有时候就会出现无法import的问题,可以用这个代码查看一下当前的路径
【代码】[Debug] 在vscode中打开的`.ipynb` 时的路径可能会是第一次打开的位置,有时候就会出现无法import的问题,可以用这个代码查看一下当前的路径。原创 2024-05-27 13:48:18 · 182 阅读 · 0 评论 -
[Codes] 利用Linux Shell并行复制文件
本文记录一段Shell代码,用于将某些目录下所有的一级子文件进行遍历,得到其中想要保存的文件类型(在本文中是.ckpt结尾的文件),并将其备份到另一个文件夹中。与其他方法不同,本文采用。方式执行cp命令,在执行速度上更快。原创 2023-12-23 18:16:36 · 202 阅读 · 0 评论 -
[其他] 在linux上采用的极快的删除方法
我的数据集的格式是当前文件中有3000+个文件夹,我想并行地删除。所以,我就直接将这3000个文件名输入到一个文本文件中,然后使用nohup同时执行删除命令,让cpu自行调度。原创 2023-09-25 16:23:08 · 217 阅读 · 0 评论 -
column-wise 与 row-wise 之间有什么区别?
中,这些实例以行的方式堆叠,形成了一个同样包含 5 层的神经网络。两种方式训练出来的模型都是一样的,只不过其中参数的排列方式不同。中,这 5 个实例以列的方式堆叠在一起,形成了一个包含 5 层的神经网络;在 PyTorch 中,“column-wise” 可以通过。函数来实现,“row-wise” 可以通过。中包含了 5 个相同的。原创 2023-05-04 17:18:02 · 823 阅读 · 1 评论 -
挺有趣的,attention的mask可能有多种用法
输入的mask与输入的seq长度不匹配时:有可能是需要mask掉prefixes。如上图所示,输入的mask是。原创 2023-04-19 10:28:36 · 494 阅读 · 0 评论 -
【Python】python setup.py install 与 pip install -e . 有什么区别呢?
而 pip install -e . 则是将包安装在当前目录下,并且是可编辑的,也就是说你可以在这个目录下修改源代码,不需要重新安装包。这种方式适用于你正在开发这个包,需要经常进行修改和测试。python setup.py install 会将包安装到系统目录中,这个包不再是可编辑的(不能在安装后再修改源代码,除非重新安装)。这种方式适用于你想要在多个项目中使用这个包。下面的答案来自ChatGPT3.5。原创 2023-03-29 16:20:10 · 1632 阅读 · 0 评论 -
[debug] python 内存不能释放
为啥python的gc不能释放内存呢?这个是正常现象吗?原创 2023-03-06 16:23:57 · 514 阅读 · 0 评论 -
【debug】自定义Dataset.__getitem__ RuntimeError: each element in list of batch should be of equal size
【代码】【debug】自定义Dataset.__getitem__ RuntimeError: each element in list of batch should be of equal size。原创 2023-02-27 00:27:51 · 445 阅读 · 1 评论 -
【debug】常见的问题,怎么引用上一层目录
可以参考文章:https://zhuanlan.zhihu.com/p/64893308。本质上就是利用sys在路径中添加上要导入库的位置。根据代码执行方式的不同,有两种解决方法。原创 2023-02-25 13:52:12 · 186 阅读 · 0 评论 -
【debug】没有设置可训练参数时,训练集的准确率还在发生变化,可能是对训练集数据数据增强的原因。
没有设置可训练参数时,训练集的准确率还在发生变化,可能是对训练集数据数据增强的原因。原创 2023-02-24 21:55:04 · 92 阅读 · 0 评论 -
【Debug】 运行时的 batch_size 跟config中的 batch_size 不是一个东西。
回答很简单,emmm,因为在最后一个batch中,数据可能不足一个设定的batch_size。一开始我还在嘲笑,为啥作者的代码要利用这个shape信息来动态地获取batch_size。原创 2023-02-07 11:21:20 · 321 阅读 · 2 评论 -
HyperTransformer: Model Generation for Supervised and Semi-Supervised Few-Shot Learning
这篇文章中提出了HyperTransformer,基于Transformer,用于监督/半监督 few-shot learning。方法是利用一个high-capacity Transformer model来生成一个small CNN model,这个小cnn是基于一个具体的任务,作者认为这篇文章所提出的方法能够有效地隔断large task space与某个individual 任务的复杂度task space。原创 2023-01-26 12:30:51 · 587 阅读 · 1 评论 -
python 包引入顺序错误:torch sklearn fedml
今天遇到的这个问题真的是奇葩,新年的第一个奇葩问题。原创 2023-01-24 17:22:20 · 222 阅读 · 0 评论 -
2021 ACL Parameter-efficient Multi-task Fine-tuning for Transformers via Shared Hypernetworks
阅读这篇文章的目的是为了了解hypernet,相关代码 https://github.com/rabeehk/hyperformerparameter-efficient fine-tuning的方法依赖于引入一个adapter module。这篇文章使用一个来为每一个tasks和每一个layer中生成adapter,which is condition on task、adapter position、layer id in a transformer model.原创 2023-01-18 15:46:09 · 358 阅读 · 0 评论 -
2017 hypernetworks 笔记
这篇文章来自谷歌的一篇文章。原创 2023-01-17 22:31:12 · 2481 阅读 · 0 评论 -
Code for hypernetworks
这篇文章将介绍怎么使用hypernetworks来完成一些实验,本实验基于https://github.com/g1910/HyperNetworks.git。原创 2023-01-15 22:39:45 · 313 阅读 · 0 评论 -
Code for VeLO 2: Training Versatile Learned Optimizers by Scaling Up
上一篇文章已经介绍了怎么训练一个MLP网络,这篇文章将介绍一下怎么用VeLO训练resnets1//1.3f.3f.3f.3f。原创 2023-01-15 22:01:21 · 181 阅读 · 0 评论 -
Code for VeLO 1: Training Versatile Learned Optimizers by Scaling Up
这篇文章基于https://colab.research.google.com/drive/1-ms12IypE-EdDSNjhFMdRdBbMnH94zpH#scrollTo=RQBACAPQZyB-,将介绍使用learned optimizer in the VeLO family:使用Optax style的优化器定义和执行一个简单的训练循环绘制一下loss的图像原创 2023-01-15 22:00:36 · 357 阅读 · 1 评论 -
Tools: python objprint
推荐一个挺好用的打印python object的库: objprint https://github.com/gaogaotiantian/objprint。原创 2023-01-15 17:49:52 · 306 阅读 · 0 评论 -
2022 VeLO: Training Versatile Learned Optimizers by Scaling Up
While deep learning models have replaced hand-designed features across many domains,these models are still trained with hand-designed optimizers. In this work, we leverage the samescaling approach behind the success of deep learning to learn versatile op原创 2023-01-14 17:13:14 · 642 阅读 · 1 评论 -
Why Can GPT Learn In-Context?
这篇文章的发现:Theoretically, we figure out that the Transformer attention has a dual form of gradient descent based optimization. 从理论上,作者发现Transformer的注意力机制同时具有基于梯度下降优化的双重形式。原创 2023-01-12 23:13:09 · 2249 阅读 · 0 评论 -
Prompt: No !!!
Lu et al., 2022], etc. (对prompt的措辞具有敏感性)prompt-based的方法在NLP中引起风暴。: Prompting generally performs worse than fine-tuning [Brown et al., 2020]. (prompt的结果通常是要比fine-tuning的结果要差很多的)prompt tuning 在一些比较小的model size上和一些比较困难的task上表现不好!Prompt 这个方法实际上并不是很好。原创 2023-01-11 22:30:58 · 447 阅读 · 0 评论 -
Hypernet
Hypernet起源于2017年 iclr的一篇文章 hypernetworks。原创 2023-01-11 16:23:31 · 231 阅读 · 0 评论 -
2021 kdd Controllable generation from pre-trained language models via inverse prompting
inverse prompting的核心是使用生成的文本,来反向地预测prompt(在beam search阶段),这样的话就能够提高prompt与生成文本之间的相关性,进而提高controllability。这篇文章中采用的是一个inverse prompt的方法,来增强prompt的控制的能力。在之后的prompt的方法中(),我是不是也可以采用这篇文章中所提到的方法来加强prompt与生成结果之间的关联性。这篇文章,通过inverse prompt来对控制生成的文本朝着相关联的方向生成。原创 2023-01-10 16:23:08 · 192 阅读 · 0 评论 -
iclr 2022 Compositional attention: Disentangling search and retrieval
要想实现c这种检测,value的向量是需要能够投影出来location的信息,q和k的向量需要映射为color的信息。比如在下面这张图中,对于retrieve location的操作在multi-head attention中进行了两次,这造成了参数的冗余。虽然目前我还没有看完这篇文章,但是我猜测这篇文章的方法呢,是利用了多个value的投影,在这个retrieval的阶段,又多了一次选择,而不是仅仅通过mutli-head的方式进行选择。b. 可以动态地共享retrieval的结果给所有的search。原创 2023-01-10 15:44:59 · 309 阅读 · 0 评论 -
2022 general purpose in-context learning by meta-learning transformers
机器学习需要去显示地定义 losses, architectures, and optimizers,meta-learning(或者是learning to learn)目的是学习这些aspects,然后希望用尽可能少的手工操作来解锁更多的能力。with。原创 2023-01-10 12:07:34 · 559 阅读 · 0 评论 -
pytorch 如何从checkpoints中继续训练
pytorch 如何从checkpoints中继续训练原创 2022-12-01 14:55:00 · 1046 阅读 · 0 评论 -
【学习笔记】Pytorch LSTM/RNN 代码
【代码】【学习笔记】Pytorch LSTM/RNN 代码。原创 2022-11-12 09:49:49 · 445 阅读 · 0 评论 -
【学习笔记】用代码理解一下雅克比行列式
解释一下雅克比行列式原创 2022-09-22 17:22:35 · 494 阅读 · 0 评论 -
[Debug] Pytorch 版本问题 THC/THC.h: No such file or directory
Pytorch 版本问题 THC/THC.h: No such file or directory该问题发生于安装c语言扩展时。这个问题我经常遇见,也是因为我之前不关心pytorch版本造成的坏习惯。🙋 张同学 zhangruiyuan@zju.edu.cn 有问题请联系我呀~这里是目录~Pytorch 版本问题 THC/THC.h: No such file or directory一、我是怎么尝试解决这个问题的1.1 当我在默认安装的`pytorch`中执行时,会遇到上述问题。1.2 然后我原创 2022-04-09 20:13:33 · 12202 阅读 · 3 评论 -
[debug] segmentation fault (core dumped) 错误
本文记录我在coding过程中遇到的一个比较没有头绪的错误。原创 2022-04-01 01:07:21 · 718 阅读 · 0 评论 -
强化学习学习笔记一 初章
强化学习笔记一 初章from https://www.bilibili.com/video/BV1LE411G7Xj?spm_id_from=333.337.search-card.all.click第一轮学习笔记,之后二轮的时候会再整理一遍这里是目录呀强化学习笔记一 初章一、基本概念二、马尔科夫决策过程2.1 马尔科夫奖励过程2.2 马尔科夫决策过程一、基本概念Difference between Reinforcement Learning and Supervised Learning原创 2022-03-28 17:51:50 · 1736 阅读 · 0 评论 -
脚踏实地的好好学习深度学习 笔记一 线性回归
本文记录我从b站学习的李宏毅2019录制的深度学习课程,自用学习笔记原创 2022-03-28 17:44:40 · 1491 阅读 · 0 评论 -
在cirfa10数据集上实现一个文艺复兴期间的CNN网络VGG
本文使用Pytorch框架,介绍了三种实现VGG网络的方式。VGG是CNN网络的一种,结构简单,效果优秀,非常有助于人工智能初学者学习和巩固深度学习知识。原创 2022-01-25 03:45:07 · 1273 阅读 · 0 评论 -
[阅读笔记] 联邦学习攻防综述 An Overview of Federated Deep Learning Privacy Attacks and Defensive Strategies
本文提供了一个目前来说比较完善的联邦学习攻防相关的综述性文章。本文对攻击方法、防御方法进行分类整理。联邦学习目前不能被应用到市场的一个原因就在于我们并不能确保联邦学习的安全性,在未来研究联邦学习工作上不可避免地要引用本文及本文延伸的文献资料。原创 2022-01-06 03:25:46 · 3030 阅读 · 0 评论 -
区块链和联邦学习研究现状(翻译)
目前,有很多联邦学习+区块链的的研究工作。Martinez提出使用EOS区块链作为联邦学习的激励层。通过日志、和激励,能够保证联邦学习参与方的热情和高质量的数据贡献。Majeed和Hong设计了FLchain结构,通过边缘设备形成区块链网络。 通过区块链通道的概念,global model被具体分配,模型被存储在区块链中。Zhang提出了一个安全的数据共享结构,基于车辆网络中的区块链授权,通过联邦学习保护了分享数据的隐私。提高系统计算资源的利用率。Wang看到梯度信息泄露和易受完整性攻击问题,提出了翻译 2021-04-19 00:31:50 · 1098 阅读 · 0 评论 -
本文解释一下安全多方计算技术是如何在不泄露两个机器人未来路径的基础上实现对碰撞预测的
本文解释一下安全多方计算技术是如何在不泄露两个机器人未来路径的基础上实现对碰撞预测。本文是对 ICRA - Coordinated multi-robot planning while preserving individual privacy文章的详细解读。原创 2021-12-21 03:13:05 · 691 阅读 · 0 评论 -
[阅读笔记] 2019 ICRA - Coordinated multi-robot planning while preserving individual privacy
本文介绍了一种隐私保护的协作多机器人路径规划方法,使用了安全计算几何、混淆电路、同态加密等密码学技术,实现了在不共享????????♀️机器人????规划路径的前提下的路径碰撞检测方法。原创 2021-12-20 22:39:06 · 292 阅读 · 0 评论