![](https://img-blog.csdnimg.cn/20190927151043371.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
NLP基础
文章平均质量分 82
NLP基础
P-ShineBeam
300字以内
展开
-
大语言模型-GPT2-Generative Pre-Training2
GPT2是2019年由OpenAI 提出的预训练语言模型。GPT2提出语言模型式`无监督的多任务学习` 。旨在通过无监督学习也能达到和finetune一样的效果,并且拥有更强的泛化能能力。即提出利用语言模型做下游任务时,不需要下游任务的任何标注信息(zero-shot设定),也不用训练模型。只需要训练一个模型,在多个任务上都能用。原创 2024-07-24 16:24:26 · 988 阅读 · 0 评论 -
大语言模型-对比学习-Contrastive Learning
对比学习 是一种特殊的`无监督学习方法`。旨在通过`拉近相关样本的距离`并且`推远不相关样本的距离`,来学习`数据表示`。通常使用一种高自由度、自定义的规则来`生成正负样本`。在模型预训练中有着广泛的应用。原创 2024-07-24 11:07:07 · 717 阅读 · 0 评论 -
大语言模型-RetroMAE-检索预训练模型
RetroMAE是2022年10月由北邮和华为提出的一种密集检索预训练策略。RetroMAE主要应用于检索模型的预训练,模型架构为非对称的Encoder-Decode结构。原创 2024-07-23 15:34:56 · 717 阅读 · 0 评论 -
大语言模型-GPT-Generative Pre-Training
GPT是2018 年 6 月由OpenAI 提出的预训练语言模型。GPT可以应用于复杂的NLP任务中,例如文章生成,代码生成,机器翻译,问答对话等。GPT也采用两阶段的训练过程,第一阶段是无监督的方式来预训练生成式的语言模型,第二阶段根据特定任务进行微调。GPT的网络架构使用的是多层Transformer Decoder改的结构。原创 2024-07-23 11:17:33 · 676 阅读 · 0 评论 -
大语言模型-基础及拓展应用
基础模型(transformer、bert、gpt等)句子向量(simcse、retroMAE、sbert等)文档解析(openpaser、fitz等)向量库(faiss、es等)原创 2024-07-17 13:57:28 · 458 阅读 · 0 评论 -
大语言模型-Bert-Bidirectional Encoder Representation from Transformers
Bert是2018年10月由Google AI研究院提出的一种预训练模型。主要用于自然语言处理(NLP)任务,特别是机器阅读理、文本分类、序列标注等任务。BERT的网络架构使用的是多层Transformer结构,有效的解决了长期依赖问题。原创 2024-07-23 01:12:00 · 1160 阅读 · 0 评论 -
大语言模型-文本检索任务基准 BEIR
BEIR(A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models)文本检索任务的基准,使用`18 个数据集`为检索系统的零样本评估提出了一个标准化基准, BEIR 基准上在`9个不同领域的检索任务`评估 `10 种不同的检索方法`。原创 2024-07-20 12:50:04 · 932 阅读 · 0 评论 -
大语言模型-中文文本向量模型评估基准 C-MTEB
C-MTEB 有35个数据集,覆盖文本召回(NDCG@10),排序(MAP),分类(average precision),相似度匹配(Spearman’s correlation),聚类(average precision),文本对分类(average precision)共六个方向,最终模型表现由6大任务指标取平均值得到。原创 2024-07-19 17:56:44 · 316 阅读 · 0 评论 -
大语言模型-文本向量模型评估基准 MTEB
MTEB(Massive Text Embedding Benchmark)涵盖112种语言的58个数据集,包含如下`8种任务`。原创 2024-07-19 17:25:20 · 1141 阅读 · 0 评论 -
大语言模型-检索测评指标
1. MRR (Mean Reciprocal Rank)平均倒数排名2. AP(Average Precision)平均精度3. MAP(Mean Average Precision)平均准确率等检索评估指标原创 2024-07-19 14:42:30 · 1126 阅读 · 0 评论 -
大语言模型-Transformer-Attention Is All You Need
Transformer是一种由谷歌在2017年提出的深度学习模型。主要用于自然语言处理(NLP)任务,特别是序列到序列(Sequence-to-Sequence)的学习问题,如机器翻译、文本生成等。Transformer彻底改变了之前基于循环神经网络(RNNs)和长短期记忆网络(LSTMs)的序列建模范式,并且在性能上取得了显著提升。原创 2024-07-17 23:14:51 · 1121 阅读 · 0 评论 -
python借助elasticsearch实现标签匹配计数
给定一组标签 [{“tag_id”: “1”, “value”: “西瓜”}, {“tag_id”: “1”, “value”: “苹果”}],我想精准匹配到现有的标签库中存在的标签并记录匹配成功的数量。原创 2024-04-16 18:14:12 · 473 阅读 · 0 评论 -
python借助elasticsearch实现精准查询与bm25查询
Elasticsearch query查询;python向量库;bm25搜索,精准匹配原创 2024-03-05 14:59:21 · 770 阅读 · 0 评论 -
常见优化器总结
优化器 是为了让参数根据损失函数更快更准的朝着最优方向更新的一种策略。神经网络是根据损失函数不断调整网络参数,使得最终能够获得近似最优解。原创 2023-09-21 20:28:03 · 260 阅读 · 1 评论 -
CopyRE关系抽取
模型包括编码器和解码器两部分编码器:将输入的句子(源句子)转换为固定长度的语义向量 解码器:读取该矢量并直接生成三元组。原创 2023-07-10 15:27:09 · 431 阅读 · 1 评论 -
条件随机场模型
线性链条件随机场用于标注问题,在条件概率模型P(Y|X)中,Y是输出变量表示标记序列,X是输入变量表示需要标注的观测序列。设有联合分布P(Y),由无向图G=(V, E)表示,在图G中,节点表示随机变量,边表示随机变量之间的依赖关系。均为线性链表示的随机变量序列,若在给定随机变量序列X的条件下,随机变量序列Y的条件概率分布P(Y|X)构成条件随机场,即满足马尔可夫性。条件随机场,设X与Y是随机变量,P(Y|X)是在给定X的条件下Y的条件概率分布。对任意结点v成立,则称条件概率分布P(Y|X)为条件随机场。原创 2023-05-31 16:30:09 · 1236 阅读 · 0 评论 -
决策树模型
本文只关注决策树的生成算法,介绍决策树的实现步骤。原创 2023-05-31 14:09:37 · 812 阅读 · 0 评论 -
隐马尔科夫模型
隐马尔可夫模型是关于时序的概率模型,描述由一个隐藏的马尔科夫链随机生成不可观测的状态的序列,再由各个状态随机生成一个观测而产生观测的序列的过程。原创 2023-05-31 14:08:58 · 816 阅读 · 0 评论 -
激活函数(Activation functions)
激活函数(Activation functions)对于人工神经网络 模型去学习、理解非常复杂和非线性的函数来说具有十分重要的作用。原创 2023-05-26 17:32:36 · 1067 阅读 · 0 评论 -
TPlinker解读
TPLiner,解决了之前的联合抽取模型中出现的问题,曝光偏差,即在训练阶段,与推理阶段不一致产生的影响,在解码阶段需要分多步进行,这也是它们存在曝光偏差的本质原因,TPLinker 将联合抽取描述为一个 token 对链接问题,并引入了一种新的连接方式。原创 2023-05-25 15:56:31 · 1916 阅读 · 0 评论 -
NLP学习——信息抽取
自动从半结构或无结构的文本中抽取出结构化信息的任务。常见的信息抽取任务有三类:实体抽取、关系抽取、事件抽取。原创 2023-02-09 11:30:41 · 1967 阅读 · 0 评论 -
NLP学习——TF-IDF算法
TF-IDF用以评估一个词在一篇文章中的重要程度(这个文章属于某个文集或语料库)主要思想:一个重要的词汇能够代表该篇文章主旨。词汇在本篇文章中出现的频率高并且在文集中出现的频率少,就认对于该文章他的重要性更高。词频(TF)表示:词汇在本篇文章中出现的频率逆文档频率(IDF)表示:词汇在整个文集中出现频率的倒数...原创 2020-03-13 10:29:22 · 224 阅读 · 0 评论 -
NLP学习——LSTM长短时记忆网络笔记
长短时记忆网络(Long Short-Term Memory,LSTM)不管是我们还是计算机都很难有过目不忘的记忆,当看到一篇长文时,通常只会几下长文中内句话所讲的核心,而一些不太起眼的词汇将会被忘掉。LSTM网络就是模仿人的这个特点,在计算机处理很多文字时有侧重点的记住具有重要意义的词汇,忘记一些作用不大的词汇。长短时记忆网络通过不断地调用同一个cell逐次处理时序信息,每阅读一个词汇x...原创 2020-03-11 14:52:56 · 445 阅读 · 1 评论 -
NLP学习——词袋模型 & 词向量模型
词袋模型 BOW(Bag of Word)将句子分词后,装进一个袋子里,不考虑其词法与语序,即每个词语都是独立的。然后对每个词进行编码,常见的有one-hot、TF-IDF、Huffman编码。词向量模型词向量模型是考虑词语位置关系的一种模型。通过大量语料的训练,将每一个编码后词语映射到高维度的向量当中,通过求余弦的方式,可以判断两个词语之间的关系现在常用word2vec构成词向量模型,...原创 2020-03-09 09:49:47 · 569 阅读 · 0 评论 -
NLP学习——词向量
词向量:是一种表示自然语言中单词的方法,把每个词都表示为一个N维空间内的点,即一个高维空间内的向量。通过这种做法,把自然语言计算转换为向量计算。有的时候词向量会写作:word2vec、word2vectors这里面的2并不是er,而是使用了英语读音的to。word to vectors 词转换为向量。分词对于人类的思维方式来说,人类喜欢将零零散散的词汇拼凑在一起形成一个语句或是一幅篇章。比如...原创 2020-03-08 13:15:10 · 1204 阅读 · 0 评论 -
paddle飞浆集训营——学习心得
深度学习第一步可以线上运行代码的AIstudio平台、配合着完美课件的直播课程、录播回放耐心答疑、帮你慢慢消化理解的课堂作业、活跃的贴子讨论…我真的怀疑这样的直播课程我到底交了多少学费。然而,这是百度提供给大家的一次免费深度学习直播课程。点击此处进入AIstudio手把手入门之所以说到他是深度学习第一步,是因为他是真的由浅入深的在逐步增加难度。从AIstudio平台的基础操作开始,到nu...原创 2020-03-07 22:43:28 · 391 阅读 · 0 评论