dataastron的博客

模型 出处 说明 bert_base google transformer BERT-wwm 哈工大 在原始bert-base的基础上引入whole word mask，其实就是分词后的词进行mask ernie1.0 百度 token，entity，phrase进行mask。除此之外，本论文中还引入了对话语料，丰富语料的来源，并针对对话语料，给出了一个和NSP相似的任务 ernie2.0 百度,未开源中文 引入了多大7个任务来预训练模型，并且采用的是逐次增加任务的方式来预训练 ...

近年来，随着深度学习的日益发展和落地，对抗样本也得到了越来越多的关注。在CV领域，我们需要通过对模型的对抗攻击和防御来增强模型的稳健型，比如在自动驾驶系统中，要防止模型因为一些随机噪声就将红灯识别为绿灯。在NLP领域，类似的对抗训练也是存在的，不过NLP中的对抗训练更多是作为一种正则化手段来提高模型的泛化能力！ Fast Gradient Method（FGM），它由GAN之父Goodfellow在论文《Explaining and Harnessing Adversarial Examples》首先提出。

Stratified k-fold StratifiedKFold is a variation of k-fold which returns stratified folds: each set contains approximately the same percentage of samples of each target class as the complete set. from sklearn.model_selection import StratifiedKFold, KFold i

编辑距离,又称Levenshtein距离. 表示从字符串1到字符串2,需要增删改操作的最小次数 编辑距离实现的原理是动态规划算法,leetcode经典题目中有一道. python中有现成的库实现,安装方法如下 pip install python-Levenshtein --user 包中所有的方法如下图所示 本文只演示distance import Levenshtein Levenshtein.distance("自然语言处理","自然语言处理技术") Levenshtein.distance("自

onehot编码是一种稀疏编码方式,如果词语越多,维度也越大.会出现维数灾难. 针对one-hot编码,sklearn中实现如下.CountVectorizer类(计数向量) 先用英文举例. 它会针对每个单词计数,丢失位置信息 from sklearn.feature_extraction.text import CountVectorizer corpus = [ 'This is the first document.', 'This document is the second doc

自然语言处理系列1_tfidf 自然语言处理_分词系列1_jieba 自然语言处理_分词系列2_hanlp 自然语言处理_词向量系列1_onehot 自然语言处理_词向量系列2_word2vec 自然语言处理_词向量系列3_gensim