自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(12)
  • 收藏
  • 关注

原创 Flan-T5: One Model for ALL Tasks

论文:Scaling Instruction-Finetuned Language Models论文地址:https://arxiv.org/abs/2210.11416公开模型:google/flan-t5-xxl · Hugging Face1. Flan-T5是什么Flan-T5是Google最新的一篇工作,通过在超大规模的任务上进行微调,让语言模型具备了极强的泛化性能,做到单个模型就可以在...

2022-11-05 23:16:43 712

原创 试试在transformers中调用ERNIE

ERNIE是什么ERNIE发展路径文心大模型ERNIE是百度发布的产业级知识增强大模型,涵盖了NLP大模型和跨模态大模型。在中文场景下,ERNIE有明显的优势,目前已经发布了一系列模型,包括ERNIE1.0, ERNIE2.0, ERNIE3.0, ERNIE-Gram, ERNIE-Doc等,并且一直在持续更新中。ERNIE官方的代码和模型是PaddlePaddle版本的,具体可以参见:Padd...

2022-10-30 22:36:58 1702 1

原创 基于FAQ的智能问答(二): 召回篇

背景基于FAQ的智能问答本质是一个信息检索的问题,所以可以简单划分成:召回+精排 两个步骤。召回的目标是从知识库中快速的召回一小批与query相关的候选集。所以召回模型的评价方法,主要侧重于 响应时间 和 top@n的召回率 两个方面。本文将分享我们召回模型的逐步迭代过程,从最基础的“ES字面召回”到 “ES字面召回和向量召回”的双路召回模式。基于ES的简单召回在第一篇分享"基于FAQ的智能问答(...

2022-10-30 15:33:52 1368

原创 基于FAQ的智能问答(一): Elasticsearch的调教

背景对话领域是当前最热门的一个NLP的方向之一,无论在学术界还是在工业界。由此衍生出来的产品包括通用形态的苹果siri,微软小冰,小米的小爱同学等,以及各个行业领域的智能助手,智能客服等。 这些产品基本可以看成下一代人机自然语言交互的雏形。具体而言人机对话又可以拆分为以下几种形式:(1) FAQ-Bot: 基于常见问答对的问答,也是运用最为广泛的智能问答技术,可以认为是最朴素的一种对话。抽象出来是...

2022-10-30 15:03:13 1188 1

原创 文本纠错的论文看这一篇就够了

Github: nghuyong/text-correction-papers专门开了一个仓库来持续追踪文本纠错相关的论文,包括「中文拼写检查Chinese Spell Checking (CSC)」 和 「语法纠错 Grammatical Error Correction (GEC)」。 推荐直接移步Github查看,每篇论文有tag标记,体验更佳。欢迎提PR,来一起完善。2022Non-Au...

2022-07-15 11:06:51 509

原创 统计机器学习方法 for NLP:基于LDA的主题模型

前言最近在重刷李航老师的《统计机器学习方法》尝试将其与NLP结合,通过具体的NLP应用场景,强化对书中公式的理解,最终形成「统计机器学习方法 for NLP」的系列。这篇将介绍隐含狄利克雷分布,即LDA,并基于LDA完成对论文主题提取的任务。隐含狄利克雷分布是什么?隐含狄利克雷分布(Latent Dirichlet Allocation, LDA) 由戴维·布雷(David Blei)、吴恩达(对...

2022-06-25 17:54:25 396

原创 统计机器学习方法 for NLP:基于LSA的主题模型

前言最近在重刷李航老师的《统计机器学习方法》尝试将其与NLP结合,通过具体的NLP应用场景,强化对书中公式的理解,最终形成「统计机器学习方法 for NLP」的系列。这篇将介绍潜在语义分析LSA(绝对给你一次讲明白)并基于LSA完成一个主题模型提取的任务。潜在语义分析是什么潜在语义分析(Latent Semantic Analysis, LSA)是一种无监督的机器学习方来,通过分析文本内容来获取文...

2022-06-18 19:58:33 403 1

原创 统计机器学习方法 for NLP:基于HMM的词性标注

前言最近在重刷李航老师的《统计机器学习方法》尝试将其与NLP结合,通过具体的NLP应用场景,强化对书中公式的理解,最终形成「统计机器学习方法 for NLP」的系列。这篇将介绍隐马尔可夫模型HMM(绝对给你一次讲明白)并基于HMM完成一个中文词性标注的任务。HMM是什么隐马尔可夫模型(Hidden Markov Model, HMM) 是做NLP的同学绕不过去的一个基础模型,是一个生成式模型,通过...

2022-06-18 16:39:06 1000

原创 统计机器学习方法 for NLP:基于CRF的词性标注

前言最近在重刷李航老师的《统计机器学习方法》尝试将其与NLP结合,通过具体的NLP应用场景,强化对书中公式的理解,最终形成「统计机器学习方法 for NLP」的系列。这篇将介绍条件随机场CRF(绝对给你一次讲明白)并基于CRF完成一个词性标注的任务。CRF是什么条件随机场(Conditional random field, CRF)是一个NLP领域广泛使用的模型,即使在深度学习时代也是如此。尤其在...

2022-06-18 16:38:49 636

原创 Transformers多机多卡的炼丹实践

前言随着预训练语言模型的快速发展,很多问题可以通过堆数据和堆模型参数简单粗暴的有效解决。所以亲自训练一个大模型一定是每个NLPer都想尝试的事,这时候就需要进行多机多卡的分布式训练了。本文是一篇踩坑后的总结,介绍如何基于huggingface的transformers库来快速实现。注意:本文仅涉及数据并行,而不涉及模型并行。所以参考本文可以自己从零训练一个bert,bert-large等,但想训练...

2022-01-28 15:39:09 4491 4

原创 手算KN-based ngram语言模型

什么是ngram语言模型语言模型是NLP中最最基础的模块,从传统基于统计的ngram语言模型,再到基于深度学习的CNN,RNN语言模型,再到现在基于tranformer的预训练语言模型,每次语言模型的发展都能给整个NLP领域带来巨大推动。由于传统的ngram语言模型具备原理简单,推断速度快等特点,所以至今依然在广泛应用在众多NLP任务中,尤其在计算资源受限的移动端。本文将系统介绍ngram语言模型...

2021-10-18 15:21:16 369

原创 基于FAQ的智能问答(三): 精排篇

在上一篇<基于FAQ的智能问答(二):召回篇>中已经介绍了,给定一个用户的query如何从知识库中快速准确的召回一小批相关的问题,本篇将继续介绍如何对这一小批问题进行精排,最终构建出answer返回给用户。任务描述给定一个用户的问题q,和一批召回的问题d,对每个d进行相关性的打分计算,并根据相关性进行评价。同时根据top1打分的不同,客户端执行不同的操作:(1) 如果top1的评分"很...

2021-10-16 19:16:32 404

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除