AI技术周总结 1 by Jeryi

Hugging Face ML apps

Hugging Face 最近做了一个space功能，存放了各种ML 应用，可以去试玩或者部署自己的应用，具体如何部署后期试试再写，目前就体验了一下，感觉很可以的。

链接：https://huggingface.co/spaces

Patches are all you need？

CV中一篇新工作，去掉transformer结构，采样简单的Patches以及Conv 结合得到了很不错的效果

optimal algorithm lecture

一套关于凸优化的白板讲解课程分享，mark一下有空看看
链接：https://www.youtube.com/watch?v=ee-HYD6kKqM&list=PLXsmhnDvpjORzPelSDs0LSDrfJcqyLlZc

多语言混合NLP问题

我们目前的语言表达中会混合很多国的语言，最常见的就是英文与中文，这对大部分语言模型来说很难解决（不过我感觉也不常见，毕竟收集的预料包含了类似信息），下面一篇paper针对这个问题提出了对抗方案。

链接：https://aclanthology.org/2021.naacl-main.282v2.pdf

Prompt 库

分享一个NLP prompt库，里面包含了众多prompt模型以及prompt数据集
重要的是还包含一个Web界面展示数据

链接：https://github.com/bigscience-workshop/promptsource

AI自动代码生成

too show， 看着非常好用，已经申请了
链接：https://copilot.github.com/#faq-what-development-environments-are-supported

NLP 2021

https://ruder.io/ml-highlights-2021/ mark 一下 section 10 bais section 11

CM3

"CM3: A Causal Masked Multimodal Model of the Internet"此文章创新型得使用了原始网页文件，HTML 格式包含图片进行预训练，得到一个多模态模型，并且可以借助HTML语法起到prompt的效果，非常有创新型！

链接：https://arxiv.org/abs/2201.07520

UnifiedSKG

UnifiedSKG: Unifying and Multi-Tasking Structured Knowledge Grounding with Text-to-Text Language Models
将结构化的模型转为自然语言格式，使用LM进行求解，类似于prompt格式，实现了将SKG与其他NLP文本生成类（text to text）任务的统一。

链接：https://arxiv.org/abs/2201.05966

PromptBERT

这篇文章没有使用传统的[CLS]来表征句向量，而是使用了Prompt的方案，构建了一个模板，将其中的[MASK]对应的token embedding加权，当作了句向量，实现了不错的效果。

文中还提到了使用不同templates来产生不同的embedding作为正例实现对比学习，降低模型对templates的依赖。
链接：https://arxiv.org/abs/2201.04337

模型快捷部署

Gradio

https://twitter.com/Gradio/status/1406005899962077192?s=05

document retrieval 库

https://github.com/deepset-ai/haystack#beginner-quick-demo

pytorch 公式代码对照doc

非常帅的一个工作，可以将论文中的公式与pytorch代码实现一一对应！

链接： https://nn.labml.ai/