自然语言处理
文章平均质量分 66
自然语言处理相关的学习和实践笔记
猎猎长风
士不可以不弘毅,任重而道远。
展开
-
【BERT】模型返回值解析
以调用的BERT预训练模型为例:outputs = self.bert(input_ids, attention_mask=attention_mask, token_type_ids=token_type_ids)outputs 包含4个:sequence_output, pooled_output, (hidden_states), (attentions)BERT返回值官方解释:Return: :obj:`tuple(torch.FloatTensor原创 2022-03-03 17:04:53 · 3304 阅读 · 4 评论 -
【BERT】Transformer/BERT/Attention面试问题与答案
文章目录1. Self-Attention 的核心是什么?2. 不考虑多头的原因,self-attention中词向量不乘QKV参数矩阵,会有什么问题?3. 在常规attention中,一般有k=v,那self-attention 可以嘛?4. self-attention 在计算的过程中,如何对padding位做mask?5. Self-Attention 的时间复杂度是怎么计算的?6. transformer中multi-head attention中每个head为什么要进行降维?本文主要参考知乎作原创 2021-12-09 12:11:26 · 3993 阅读 · 2 评论 -
【BERT】QA、阅读理解、信息检索
文章目录一、BERT应用于QA和阅读理解1. QA应用的一般流程:2. **阅读理解应用的一般流程:**3. BERT在QA和阅读理解的效果3.1 **QA任务**3.2 **阅读理解任务**二、BERT应用于信息检索(IR)1. BERT在短文档检索中的效果2. BERT在长文档检索中的探索2.1 论文中的一些思路2.2 问题和思路简介:BERT在QA和阅读理解方面的进展和做法BERT在搜索与信息检索(IR)方面的进展和做法一、BERT应用于QA和阅读理解QA的核心问题是:给定用户的自然原创 2021-12-08 11:40:30 · 2586 阅读 · 3 评论 -
【ALBERT】TensorFlow 模型转 PyTorch 模型
由于目前 PyTorch 使用者非常多,BERT 源码又是 Google 用 TensorFlow 写的,谷歌开源的 BERT 预训练模型都是 TensorFlow 生成的 ckpt 模型文件, PyTorch 使用者需要将ckpt 文件转换为 PyTorch 的 bin 模型文件。本文以 albert 模型为例,将 albert 的TensorFlow模型转PyTorch模型。"""@Author : ChenXin@Data : 2021/10/23 1:26@Brief : T原创 2021-10-29 15:54:00 · 2205 阅读 · 0 评论 -
【BERT】Transformer理论详解(二)
目录0. transformertransformertransformer模型的直觉, 建立直观认识;1. positional encodingpositional \ encodingpositional encoding, 即**位置嵌入**(或位置编码);2. self attention mechanismself \ attention \ mechanismself attention mechanism, **自注意力机制**;3原创 2021-09-29 18:23:48 · 639 阅读 · 0 评论 -
【BERT下游任务】意图分类:3. 模型训练与评估
目录一、模型评价方法二、模型训练与评估方法三、模型训练与评估1. 实例化模型2. 模型训练3. 模型评估任务简介:学习一个简单的BERT意图分类项目,了解BERT进行NLP任务时的流程。任务说明(本节):模型评价方法模型训练与评估优化器导入第三方库:输入:%cd ../import osimport loggingimport numpy as npimport torchimport randomfrom tqdm import tqdm, trangefrom t原创 2021-09-10 19:30:00 · 1260 阅读 · 0 评论 -
【BERT下游任务】意图分类:2. 模型构建与损失函数
目录一、意图分类任务的MLP层二、模型主要架构三、交叉熵损失函数 CrossEntropyLoss任务简介:学习一个简单的BERT意图分类项目,了解BERT进行NLP任务时的流程。任务说明(本节):构建BERT分类模型损失函数计算导入必须的第三方库:输入:%cd ../import torchimport torch.nn as nnfrom torch.utils.data import TensorDataset, RandomSampler, DataLoaderfro原创 2021-09-09 20:47:20 · 2095 阅读 · 2 评论 -
【BERT下游任务】意图分类:1. 数据处理与加载
目录一、数据形式二、标签集:将所有出现的意图标签统计出来三、样本读取为样本实例四、将数据处理成可以喂给模型的特征任务简介:学习一个简单的bert意图分类项目,了解bert进行nlp任务时的流程。任务说明:标签类别收集训练样本读取样本转化为符合BERT模型的特征一、数据形式使用的atis数据集已经将训练集、验证集和测试集区分好label文件保存了意图识别的标签seq.in文件每行保存了一句输入样本seq.out文件每行保存了样本的NER标签序列,以空格隔开(ner任原创 2021-09-06 00:02:23 · 1562 阅读 · 0 评论 -
【BERT】Transformer理论详解(一)
一、概述Bert——自然语言处理通用解决方案需要熟悉word2vec,RNN网络模型,了解词向量如何建模 重点在于Transformer网络架构,BERT训练方法,实际应用 开源项目,都是现成的,套用进去就OK 提供预训练模型,基本任务拿过来直接用即可二、Transformer和RNN1. Transformer要做什么事?基本组成依旧是机器翻译模型中常见的Seq2Seq网络 输入输出都很直观,其核心架构就是中间的网络设计了2. 传统的RNN网络和Transformer..原创 2021-04-13 12:33:44 · 1553 阅读 · 1 评论 -
【Transformer】总体解读
本文是对B站视频“transformer从零详细解读”的笔记,视频:https://www.bilibili.com/video/BV1Di4y1c7Zm?p=1一、概述TRM在做一个什么事情?transformer包含encoder和decoderencoder和decoder分别有六个原论文中transformer模型结构encoder包含以下三个部分:二、位置编码encoder输入部分:1. Embedding2. 位置嵌入为什么需要原创 2021-03-30 18:51:37 · 540 阅读 · 0 评论 -
【Transformer论文:Attention Is All You Need】2.论文精读
一、论文结构二、摘要原创 2021-03-18 13:10:18 · 204 阅读 · 0 评论 -
【Transformer论文:Attention Is All You Need】1.论文导读
一、前言1.前期知识储备2.学习目标3.课程安排二、论文导读1.知识树2.论文研究背景、成果及意义原创 2021-02-26 17:26:02 · 278 阅读 · 0 评论 -
【NLP基础知识】4.NLP中必须掌握的经典模型
一、Word2vec原理与复现Word2vec:NLP领域的奠基之作1.背景复习2.C&W模型3.直接可观测特征论文链接:https://arxiv.org/pdf/1309.4168v1.pdf4.skip-gram模型5.代码实现skip-gram(初级版)二、BERT使用实战三、MLP模型与实战四、普通RNN模型与实战五、门控RNN模型与实战...原创 2021-02-21 21:38:52 · 2049 阅读 · 0 评论 -
【NLP基础知识】3.统计语言模型简介与案例实现
一、统计语言模型简介1.语言模型任务2.语言模型实例3.语言模型任务3.1贝叶斯公式3.2概率基础知识3.3语言模型定义原创 2021-02-06 22:47:45 · 617 阅读 · 2 评论 -
【NLP工具】hanLP2.1的使用(未完)
一、hanlp简介面向生产环境的多语种自然语言处理工具包,基于PyTorch和TensorFlow 2.x双引擎,目标是普及落地最前沿的NLP技术。HanLP具备功能完善、性能高效、架构清晰、语料时新、可自定义的特点。借助世界上最大的多语种语料库,HanLP2.1支持包括简繁中英日俄法德在内的104种语言上的10种联合任务:分词(粗分、细分2个标准,强制、合并、校正3种词典模式)、词性标注(PKU、863、CTB、UD四套词性规范)、命名实体识别(PKU、MSRA、OntoNotes三套规范)、依存原创 2021-02-01 15:48:53 · 5924 阅读 · 2 评论 -
【知识图谱】2.Neo4j图数据库基本操作
为什么选择Neo4jNeo4j安装流程1.jdk安装(1)JDK下载地址:https://www.oracle.com/java/technologies/javase-downloads.html(2)下载Windows64位版本一直下一步到安装完成(3)配置环境变量安装完成,cmd中输入java -version测试是否安装成功。2.Neo4j安装(1)Neo4j下载地址:https://neo4j.com/download-center/下载原创 2021-01-27 16:22:23 · 497 阅读 · 0 评论 -
【知识图谱】1.知识图谱简介
知识图谱使用较多的为搜索和匹配课程介绍什么是知识图谱?在搜索引擎中的应用在医疗领域中的应用在医疗中进行辅助决策在金融与推荐领域中的应用原创 2021-01-26 18:09:43 · 223 阅读 · 1 评论 -
【NLP基础知识】2.NLP问题中的特征、文本的向量化
独热表示one-hot词频表示(TF)原创 2021-01-26 11:36:32 · 504 阅读 · 1 评论 -
【NLP基础知识】1.前言及研究方向概述
什么是NLP?学习课程前的重点申明如何学?教材推荐录读过的很有收获的笔记(research篇)原创 2021-01-17 00:26:51 · 237 阅读 · 0 评论 -
【NLP项目-TextCNN文本分类】5.项目实战(二)
main代码# 导入库from collections import OrderedDictimport jiebaimport torchfrom torch.utils.data import DataLoaderfrom data_processing import load_data, build_vocab, build_dataset, build_word_embeddingfrom dataset import MLDatasetfrom sklearn.mode..原创 2020-09-16 23:14:38 · 581 阅读 · 0 评论 -
Word Embedding 浅析
1. 语言的算法表达1.1 字典序文字对于计算机来说就是一个个 鬼画符,计算机看不懂,也无法直接处理因此NLP第一步就是 :将 文字 转换为计算机能看懂的数字传统计算机系统会将一个个汉字转换为特殊的字符串编码,如:utf-8、gb2312 等等而在机器学习、深度学习领域,必须将文本描述为数字其中最常用的方式就是将文本转换为字典序:词典中的第几个字如: Abandon 是英语字典中 第1个 单词 ,所以他的字典序就是 1这样就已经迈出了让计算机看懂...转载 2020-09-15 10:40:11 · 368 阅读 · 0 评论 -
【NLP项目-TextCNN文本分类】5.项目实战(一)
原创 2020-09-14 23:27:31 · 318 阅读 · 0 评论 -
【NLP项目-TextCNN文本分类】4.数据分析
数据分析部分原创 2020-09-08 23:57:17 · 198 阅读 · 0 评论 -
【NLP项目-TextCNN文本分类】3.word2vec等基础工具
预训练词向量 Word+Character 300d下载地址: https://github.com/Embedding/Chinese-Word-Vectorsgensim是一个方便的nlp工具词向量词向量获取 获取某个词向量和句子的向量 相似文本的比较导入词向量gensim导入词向量需要词向量文件的首行是:所有的单词数 词向量的维度import gensimPRE_WORD_VECTOR = '../data/news/sgns.sogou.char'model =原创 2020-09-08 22:09:36 · 1359 阅读 · 0 评论 -
【NLP项目-TextCNN文本分类】2.短文本分类论文解读
CNN文本分类论文讲解及TextCNN原理如果滤波器的步长使得输出不是整数,则使用补0操作。补0操作后输出为整数。计算输出层的大小:卷积层小结:原创 2020-09-08 22:01:52 · 254 阅读 · 0 评论 -
【NLP项目-TextCNN文本分类】1.工业界短文本分类案例分析
一、知识点汇总二、信息流产品推荐系统架构三、对话系统案例四、智能客服案例原创 2020-09-08 00:01:27 · 380 阅读 · 1 评论 -
3【NLP项目-人工智能辅助信息抽取】深度学习与NLP基础
任务简介:学习深度学习在NLP领域的应用详细说明:本节开始学习深度学习解决NLP问题的方法与应用,包括文本表示、文本特征抽取,常见NLP任务模型结构等。原创 2020-08-28 21:29:05 · 170 阅读 · 0 评论 -
2【NLP项目-人工智能辅助信息抽取】基于机器学习的信息抽取系统
任务简介:讲解信息抽取中涉及到的机器学习算法详细说明:本节首先介绍中文nlp的一般流程、命名实体识别问题的详细定义,引入信息抽取中的机器学习算法,包括隐马尔可夫模型、维特比算法等。一、中文自然语言处理简介机器学习基本流程中文自然语言处理自然语言处理技术被称为“人工智能皇冠上的明珠” 。链接:中文NLP流程中文分词词性标注去停用词二、命名实体识别详解三、HMM与维特比解码四、CRF算法...原创 2020-08-26 23:54:50 · 396 阅读 · 0 评论 -
1【NLP项目-人工智能辅助信息抽取】知识图谱、信息抽取及规则系统
任务简介:了解信息抽取的基础知识。详细说明:本节引入知识图谱的概念,介绍信息抽取进行知识图谱的基础知识。通过一个具体的比赛数据,介绍知识图谱构建与信息抽取问题的定义。本节介绍知识图谱的概念,通过具体的案例理解知识图谱的应用。一、知识图谱的概念知识图谱是谷歌提出的,分别在谷歌和Bing中搜索迪丽热巴的身高。谷歌直接将迪丽热巴的身高输出,从语义上更好地理解查询的内容;Bing基于关键字匹配的搜索,将搜索的词与文本内容进行匹配再展示出来。二、信息抽取1. 信息抽取案例2. 信息原创 2020-08-25 23:55:05 · 278 阅读 · 0 评论