![](https://img-blog.csdnimg.cn/20190927151026427.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
论文
文章平均质量分 82
暂且没有分类的其他科研内容
文三路张同学
在读浙大计算机博士,研究方向3D vision,欢迎大家关注我:https://github.com/Ruiyuan-Zhang/
展开
-
HyperTransformer: Model Generation for Supervised and Semi-Supervised Few-Shot Learning
这篇文章中提出了HyperTransformer,基于Transformer,用于监督/半监督 few-shot learning。方法是利用一个high-capacity Transformer model来生成一个small CNN model,这个小cnn是基于一个具体的任务,作者认为这篇文章所提出的方法能够有效地隔断large task space与某个individual 任务的复杂度task space。原创 2023-01-26 12:30:51 · 532 阅读 · 1 评论 -
2021 ACL Parameter-efficient Multi-task Fine-tuning for Transformers via Shared Hypernetworks
阅读这篇文章的目的是为了了解hypernet,相关代码 https://github.com/rabeehk/hyperformerparameter-efficient fine-tuning的方法依赖于引入一个adapter module。这篇文章使用一个来为每一个tasks和每一个layer中生成adapter,which is condition on task、adapter position、layer id in a transformer model.原创 2023-01-18 15:46:09 · 314 阅读 · 0 评论 -
2017 hypernetworks 笔记
这篇文章来自谷歌的一篇文章。原创 2023-01-17 22:31:12 · 2453 阅读 · 0 评论 -
Tools: python objprint
推荐一个挺好用的打印python object的库: objprint https://github.com/gaogaotiantian/objprint。原创 2023-01-15 17:49:52 · 274 阅读 · 0 评论 -
2022 VeLO: Training Versatile Learned Optimizers by Scaling Up
While deep learning models have replaced hand-designed features across many domains,these models are still trained with hand-designed optimizers. In this work, we leverage the samescaling approach behind the success of deep learning to learn versatile op原创 2023-01-14 17:13:14 · 601 阅读 · 1 评论 -
Why Can GPT Learn In-Context?
这篇文章的发现:Theoretically, we figure out that the Transformer attention has a dual form of gradient descent based optimization. 从理论上,作者发现Transformer的注意力机制同时具有基于梯度下降优化的双重形式。原创 2023-01-12 23:13:09 · 2142 阅读 · 0 评论 -
Prompt: No !!!
Lu et al., 2022], etc. (对prompt的措辞具有敏感性)prompt-based的方法在NLP中引起风暴。: Prompting generally performs worse than fine-tuning [Brown et al., 2020]. (prompt的结果通常是要比fine-tuning的结果要差很多的)prompt tuning 在一些比较小的model size上和一些比较困难的task上表现不好!Prompt 这个方法实际上并不是很好。原创 2023-01-11 22:30:58 · 416 阅读 · 0 评论 -
Hypernet
Hypernet起源于2017年 iclr的一篇文章 hypernetworks。原创 2023-01-11 16:23:31 · 211 阅读 · 0 评论 -
2021 kdd Controllable generation from pre-trained language models via inverse prompting
inverse prompting的核心是使用生成的文本,来反向地预测prompt(在beam search阶段),这样的话就能够提高prompt与生成文本之间的相关性,进而提高controllability。这篇文章中采用的是一个inverse prompt的方法,来增强prompt的控制的能力。在之后的prompt的方法中(),我是不是也可以采用这篇文章中所提到的方法来加强prompt与生成结果之间的关联性。这篇文章,通过inverse prompt来对控制生成的文本朝着相关联的方向生成。原创 2023-01-10 16:23:08 · 182 阅读 · 0 评论 -
iclr 2022 Compositional attention: Disentangling search and retrieval
要想实现c这种检测,value的向量是需要能够投影出来location的信息,q和k的向量需要映射为color的信息。比如在下面这张图中,对于retrieve location的操作在multi-head attention中进行了两次,这造成了参数的冗余。虽然目前我还没有看完这篇文章,但是我猜测这篇文章的方法呢,是利用了多个value的投影,在这个retrieval的阶段,又多了一次选择,而不是仅仅通过mutli-head的方式进行选择。b. 可以动态地共享retrieval的结果给所有的search。原创 2023-01-10 15:44:59 · 259 阅读 · 0 评论 -
2022 general purpose in-context learning by meta-learning transformers
机器学习需要去显示地定义 losses, architectures, and optimizers,meta-learning(或者是learning to learn)目的是学习这些aspects,然后希望用尽可能少的手工操作来解锁更多的能力。with。原创 2023-01-10 12:07:34 · 343 阅读 · 0 评论 -
自回归任务是什么?在哪里会用到呢?
自回归语言模型是什么?在哪里有听到过这个概念。原创 2022-10-04 15:46:01 · 650 阅读 · 0 评论 -
[论文笔记&随手] Training with Weighted Sum of Denoising Score Matching Objectives
[note] Training with Weighted Sum of Denoising Score Matching Objectives利用 去噪分数匹配目标的加权和 进行训练,去噪指的是使用sde的方法就不需要自行补充噪声了。本文的目的是解释如何对原始数据进行扰动。 from https://yang-song.github.io/blog/2021/score/一、理论首先,挑选一个随机过程(SDE)对原始数据分布p0p_0p0进行扰动得到扰动后数据的概率密度分布ptp_tpt。原创 2022-03-03 01:48:21 · 522 阅读 · 1 评论 -
[阅读笔记] 联邦学习攻防综述 An Overview of Federated Deep Learning Privacy Attacks and Defensive Strategies
本文提供了一个目前来说比较完善的联邦学习攻防相关的综述性文章。本文对攻击方法、防御方法进行分类整理。联邦学习目前不能被应用到市场的一个原因就在于我们并不能确保联邦学习的安全性,在未来研究联邦学习工作上不可避免地要引用本文及本文延伸的文献资料。原创 2022-01-06 03:25:46 · 2570 阅读 · 0 评论 -
本文解释一下安全多方计算技术是如何在不泄露两个机器人未来路径的基础上实现对碰撞预测的
本文解释一下安全多方计算技术是如何在不泄露两个机器人未来路径的基础上实现对碰撞预测。本文是对 ICRA - Coordinated multi-robot planning while preserving individual privacy文章的详细解读。原创 2021-12-21 03:13:05 · 589 阅读 · 0 评论 -
[阅读笔记] 2019 ICRA - Coordinated multi-robot planning while preserving individual privacy
本文介绍了一种隐私保护的协作多机器人路径规划方法,使用了安全计算几何、混淆电路、同态加密等密码学技术,实现了在不共享????????♀️机器人????规划路径的前提下的路径碰撞检测方法。原创 2021-12-20 22:39:06 · 277 阅读 · 0 评论 -
[论文阅读] 2019 NeurIPS - Generative modeling by estimating gradients of the data distribution
本文创造性的使用积分函数来学习训练数据的分布,并提出`sliced score matching`解决了传统`score matching`中存在的性能问题。原创 2021-12-20 10:29:31 · 2457 阅读 · 0 评论 -
[阅读笔记] 机器人隐私保护研究综述 ICRA - Enhancing Privacy in Robotics via Judicious Sensor Selection
该文章是对机器人在隐私保护领域的总结,其中关于目前存在的隐私泄露问题的总结、可能存在的隐私泄露风险总结、在物理上(不利用隐私计算技术前提下,即传感器选用角度、机器人设计角度)解决机器人隐私问题中,比较全面。原创 2021-12-19 23:50:16 · 594 阅读 · 0 评论 -
从文章「A Field Guide to Federated Optimization」整理的联邦学习科研入门实验
本文是我从文章「A Field Guide to Federated Optimization」整理的联邦学习科研入门实验原创 2021-09-19 02:39:50 · 1024 阅读 · 0 评论 -
[论文阅读] 联邦学习在医疗领域的应用综述 Federated Learning for Healthcare Infomatics
本文介绍了一篇将联邦学习技术应用在医疗领域的综述,论文内容比较简单,适合联邦学习入门者阅读。原创 2021-09-19 01:41:10 · 1823 阅读 · 0 评论