NLP笔记
专心致志写BUG
看得出来是个学渣
展开
-
universaldependencies依存关系标签解释
universaldependencies依存关系标签解释原创 2022-06-21 01:19:24 · 711 阅读 · 1 评论 -
在CIFAR-10上训练VGG6
无原创 2022-05-07 15:43:45 · 506 阅读 · 0 评论 -
安装en_core_web_sm
python -m spacy download en_core_web_md原创 2021-07-22 20:52:38 · 567 阅读 · 0 评论 -
bert模型的bin、ckpt文件分析
import torchfy=torch.load("pytorch_bert_model.bin" ,map_location=torch.device('cpu'))for i in fy.keys(): print(i+' '+str(list(fy[i].size())))输出如下:bert.embeddings.word_embeddings.weight [28996, 768]bert.embeddings.position_embeddings.weight .原创 2020-09-21 16:24:01 · 3710 阅读 · 3 评论 -
bert:weight和bias
权重 weights(w1,w2w3)是每个输入信号的权重值,以上面的(1x2x3)的例子来说,x1的权重可能是092,x2的权重可能是02,x3的权重可能是0.03。当然权重值相加之后可以不是1。偏移 bias还有个b是干吗的?一般的书或者博客上会告诉你那是因为Sy=wx+bs,b是偏移值,使得直线能够沿v轴上下移动。这是用结果来解释原因,并非b存在的真实原因。从生物学上解释,在脑神经细胞中,一定是输入信号的电平/电流大于某个临界值时,神经元细胞才会处于兴奋状态,这个b实际就是那个临界值。.原创 2020-09-15 10:01:54 · 1486 阅读 · 0 评论 -
nlp:T5
import argparseimport globimport osimport jsonimport timeimport loggingimport randomimport refrom itertools import chainfrom string import punctuationimport nltknltk.download('punkt')from nltk.tokenize import sent_tokenizeimport pandas as p.原创 2020-08-19 09:12:59 · 1436 阅读 · 1 评论 -
nlp:roberta
run_boolq_roberta.pyCUDA_VISIBLE_DEVICES=2 python use_boolq_bert.py --model_type bert --model_name_or_path bert-base-cased --do_eval --do_lower_case --train_file train.jsonl --predict_file val.jsonl --test_file test3.jsonl --per_gpu_eval_batch_size=8 --原创 2020-08-19 09:03:46 · 810 阅读 · 0 评论 -
nlp:bert
run_boolq_bert.pyCUDA_VISIBLE_DEVICES=1 python run_boolq_bert.py --model_type bert --model_name_or_path bert-base-cased --do_train --do_eval --evaluate_during_training --do_lower_case --train_file train.jsonl --predict_file val.jsonl --test_file test.js原创 2020-08-19 08:59:59 · 677 阅读 · 0 评论 -
NLP:MRC常用数据集
SQuAD2.0| CoQA |Who-did-What| HotpotQA |MS MARCO|TriviaQA|GLUE|SuperGLUE|DuReader|CJRC | LC-QuAD2.0 |QALD |TensorFlow Datasets |SWAG | RACE | CLOTH | ARC | Multirc | COPA | BOOLQ | MCScript | MCTest | DREAMSQuAD2.0:https://rajpurkar.g...原创 2020-07-23 10:29:35 · 5945 阅读 · 2 评论 -
NLP:pattern库应用
from pattern.en import conjugate, PRESENT, INFINITIVE, PAST, FUTURE, SG, PLURAL, PROGRESSIVEvb_word = "be"print(conjugate(vb_word, tense=PRESENT, person=1, number=SG))print(conjugate(vb_word, tense=PRESENT, person=2, number=SG))print(conjugate(vb_word.原创 2020-07-21 11:25:58 · 835 阅读 · 4 评论 -
NLP:NLTK、spaCy、pattern库
NLTKNLTK词频统计(Frequency) NLTK去除停用词(stopwords) NLTK分句和分词(tokenize) NLTK词干提取 (Stemming) NLTK词形还原(Lemmatization) NLTK词性标注(POS Tag) NLTK中的wordnet 使用方法:https://blog.csdn.net/asialee_bird/article/details/85936784spaCy分句sentencizer 分词Tokenization 词..原创 2020-07-21 11:20:01 · 985 阅读 · 0 评论 -
NLP:Seq2Seq、Attention、Transformer、Self-Attention
Seq2SeqAttentionTransformer和Attention模型一样,Transformer模型中也采用了 encoer-decoder 架构。但其结构相比于Attention更加复杂,论文中encoder层由6个encoder堆叠在一起,decoder层也一样。每一个encoder和decoder的内部简版结构如下图对于encoder,包含两层,一个self-attention层和一个前馈神经网络,self-attention能帮助当前节点不仅仅只关注当前的词,从而能获转载 2020-07-21 10:17:39 · 266 阅读 · 0 评论 -
NLP:Epoch、Batch、Iteration
Epoch(时期): 当一个完整的数据集通过了神经网络一次并且返回了一次,这个过程称为一次>epoch。(也就是说,所有训练样本在神经网络中都 进行了一次正向传播 和一次反向传播 ) 再通俗一点,一个Epoch就是将所有训练样本训练一次的过程。然而,当一个Epoch的样本(也就是所有的训练样本)数量可能太过庞大(对于计算机而言),就需要把它分成多个小块,也就是就是分成多个Batch 来进行训练。** Batch(批 / 一批样本): 将整个训练样本分成若干个Batch。 ...原创 2020-07-21 10:11:55 · 894 阅读 · 0 评论 -
NLP:text sequence/预处理
https://blog.csdn.net/qq_16234613/article/details/79436941原创 2020-07-21 10:11:03 · 158 阅读 · 0 评论 -
NLP:F1-Score 精确率 - P 准确率 -Acc 召回率 - R
机器学习 F1-Score 精确率 - P 准确率 -Acc 召回率 - R准确率 召回率 精确率 : 准确率->accuracy, 精确率->precision. 召回率-> recall.三者很像,但是并不同,简单来说三者的目的对象并不相同。 大多时候我们需要将三者放到特定的任务环境中才会更加明显的感觉到三者的差异。 在介绍这些之前,我们先回顾一下我们的混淆矩阵。True Positive(真正, TP):将正类预测为正类数. True Negative(.原创 2020-07-21 10:10:14 · 1606 阅读 · 0 评论 -
NLI:Natural Language Inference
自然语言推理主要是判断两个句子(Premise, Hypothesis)或者两个词之间的语义关系,为了保证模型能够集中在语义理解上,该任务最终退化为一个分类任务,目前类别主要是三分类(Entailment,Contradiction,Neutral)。目前对这三类有各种各样的定义,但是我认为这三类的分类依据还是要落在语义理解上,通过语义关系来确定类别。 那为什么要研究自然语言推理呢?简单来讲,机器学习的整个系统可以分为两块,输入,输出。输入要求我们能够输入一个机器能理解的东西,...原创 2020-07-21 10:09:43 · 1764 阅读 · 0 评论 -
NLP:模式识别 对抗学习
模式识别是什么?作为人工智能的一个重要方向,模式识别的主要任务是模拟人的感知能力,如通过视觉和听觉信息去识别理解环境,又被称为“机器感知”或“智能感知”。人们在观察事物或现象的时候,常常要寻找它与其他事物或现象的不同之处,并根据一定目的把相似、但又细节不同的事物或现象组成一类。字符识别就是一个典型的例子,如数字“4”可以有各种写法,但都属于同一类别。人脑具有很强的模式识别和推广能力,即使对于某种不同写法的“4”,以前虽未见过,也能把它分到“4”所属的这一类别。人脑的这种对模式(事物、现象等)进行归类原创 2020-07-21 10:08:14 · 392 阅读 · 1 评论 -
NLP:预训练模型
转载 2020-07-21 10:07:42 · 127 阅读 · 0 评论 -
NLP:监督、半监督、无监督学习
概念有监督学习:训练数据既有特征(feature)又有标签(label),通过训练,让机器可以自己找到特征和标签之间的联系,在面对只有特征没有标签的数据时,可以判断出标签。无监督学习(unsupervised learning):训练样本的标记信息未知,目标是通过对无标记训练样本的学习来揭示数据的内在性质及规律,为进一步的数据分析提供基础,此类学习任务中研究最多、应用最广的是"聚类" (clustering),其他无监督算法还有:密度估计(densityestimation)、异常检测(anomal原创 2020-07-21 10:07:21 · 1998 阅读 · 0 评论 -
NLP:梯度弥散(消散)和梯度爆炸
靠近输入的神经元会比靠近输出的神经元的梯度成指数级衰减靠近输出层的hidden layer 梯度大,参数更新快,所以很快就会收敛;而靠近输入层的hidden layer 梯度小,参数更新慢,几乎就和初始状态一样,随机分布。这种现象就是梯度弥散(vanishing gradient problem)。而在另一种情况中,前面layer的梯度通过训练变大,而后面layer的梯度指数级增大,这种现象又叫做梯度爆炸(exploding gradient problem)。总的来说,就是在这个.原创 2020-07-21 10:06:00 · 265 阅读 · 0 评论 -
NLP:神经网络
NLP 神经网络2013 年和 2014 年是 NLP 问题开始引入神经网络模型的时期。使用最广泛的三种主要的神经网络是:循环神经网络、卷积神经网络和递归神经网络。循环神经网络(RNNs)循环神经网络是处理 NLP 中普遍存在的动态输入序列的一个最佳的技术方案。Vanilla RNNs (Elman,1990)很快被经典的长-短期记忆网络(Hochreiter & Schmidhuber,1997)所取代,它被证明对消失和爆炸梯度问题更有弹性。在 2013 年之前,RNN 仍被认为很难训练.原创 2020-07-21 10:05:32 · 1271 阅读 · 0 评论 -
NLP:词袋模型(bag of words)、词向量模型(Word Embedding)
例句:Jane wants to go to Shenzhen.Bob wants to go to Shanghai一、词袋模型 将所有词语装进一个袋子里,不考虑其词法和语序的问题,即每个词语都是独立的。例如上面2个例句,就可以构成一个词袋,袋子里包括Jane、wants、to、go、Shenzhen、Bob、Shanghai。假设建立一个数组(或词典)用于映射匹配1 [Jane, wants, to, go, Shenzhen, Bob, Shanghai]那么上面两个例句就...原创 2020-07-21 10:04:16 · 944 阅读 · 0 评论