nlp
hit56笔记
持续学习NLP
展开
-
Prompt Learning笔记
Prompt Learning 范式可以将几乎所有的下游任务均统一为预训练语言模型任务,从而避免了预训练模型和下游任务之间存在的 gap,几乎所有的下游 NLP 任务均可以使用,不需要训练数据,在小样本数据集的基础上也可以取得超越 Fine-Tuning 的效果,使得所有任务在使用方法上变得更加一致;原创 2023-02-28 17:47:21 · 120 阅读 · 0 评论 -
预训练笔记
主要分为如下五类。原创 2023-02-28 15:24:49 · 80 阅读 · 0 评论 -
文本摘要笔记
个人认为的文本摘要算法效果依次往下递减:The results show that 31% of unigrams (ROUGE-1) and 7% of bigrams (ROUGE-2) are present in both summaries, while the longest common subsequences (ROUGE-L) match by 7%. Overall, the average score is 20%. Please note that ROUGE scores do原创 2023-02-27 14:45:58 · 137 阅读 · 0 评论 -
AIGC笔记
从融资角度来看,目前 AIGC 有 3 个商业化的方向:第一个方向是通过 AI 生成文字,比如自动写邮件和广告营销文案,这要归功于 OpenAI 的 GPT-3 AI 语言模型,目前大多数 AI 生成文字类项目都使用该模型。第二个方向是利用 AI 作图,主要技术是结合多模态神经语言模型 CLIP 和图像去躁扩散模型 Diffusion,仅仅提供一些关键词描述就可以自动生成图片。第三个方向是 AIGC 的底层技术模型开发,OPENAI 和 StableAI 是这个方向的龙头,也是融资金额最大的。原创 2023-01-17 17:42:34 · 165 阅读 · 0 评论 -
LLM大模型综述
LLM其实就是large language model,大语言模型。如果对“最终任务”进一步进行分类,又大致可以分为两大不同类型的任务:自然语言理解类任务和自然语言生成类任务。如果排除掉“中间任务”的话,典型的自然语言理解类任务包括文本分类、句子关系判断、情感倾向判断等,这种任务本质上都是分类任务,就是说输入一个句子(文章),或者两个句子,模型参考所有输入内容,最后给出属于哪个类别的判断。自然语言生成也包含很多NLP研究子方向,比如聊天机器人、机器翻译、文本摘要、问答系统等。原创 2023-01-10 13:56:17 · 23964 阅读 · 0 评论 -
simhash笔记
【代码】simhash笔记。原创 2022-11-20 18:31:26 · 225 阅读 · 0 评论 -
如何替换文本中的网址
【代码】如何替换文本中的网址。原创 2022-09-06 15:22:52 · 95 阅读 · 0 评论 -
faiss教程
【代码】faiss教程。原创 2022-08-23 20:49:52 · 231 阅读 · 0 评论 -
数据增广笔记
no原创 2022-08-19 17:41:27 · 58 阅读 · 0 评论 -
sigmoid、tanh、relu激活函数
sigmoid、tanh、relu激活函数原创 2022-06-04 17:38:46 · 225 阅读 · 0 评论 -
nlp的四大任务什么
nlp的四大任务原创 2022-06-04 10:15:18 · 127 阅读 · 0 评论 -
交叉熵损失函数
原创 2022-05-30 17:14:48 · 91 阅读 · 0 评论 -
信息检索时,如果没有关键词命中,用faiss做语义召回是个不错的方法
如题原创 2020-12-11 15:51:39 · 327 阅读 · 0 评论