- 博客(12)
- 收藏
- 关注
RSS订阅原创 Python中的@作用
1.基本含义@符号用做函数的修饰符，可以在模块或者类的定义层内对函数进行修饰，出现在函数定义的前一行，不允许和函数定义在同一行。一个修饰符就是一个函数，它将被修饰的函数作为参数，并返回修饰后的同名函数或其他可调用的东西（如果返回不是一个可调用的对象那么会报错）。2.举例说明例子1：def wrap(f): def decorator(args, kw): print('Call %s()' % f.__name__) return f(args, kw)
2021-11-18 13:16:47
3341
原创 在SQuAD2.0榜单上出现过的部分模型详解StructBert，T5，RoBERTa，RetroReader，ALBert
文章目录StructBertWord Structural ObjectiveSentence Structural ObjectiveT5Text-to-TextC4数据集——Colossal Clean Crawled Corpus （超大型干净爬取数据）试验结论RoBERTa: A Robustly Optimized BERT Pretraining Approach改进方法模型规模、算力与数据效果与总结ALBert改进方法Factorized embedding parameterizationC
2021-11-09 10:51:32
1323
1
原创 ERNIE，ERNIE2.0，Transformer-XL，XLNET
文章目录ERNIE实体级别的Mask其他细节Dialog embedding与bert对比ERNIE 1.0 做了什么ERNIE 2.0整体框架连续多任务学习任务一：词法级别预训练任务任务二：语言结构级别预训练任务任务三：语法级别预训练任务结论Transformer-XLVanilla Transformer Language ModelsTransformer-XL：循环机制Transformer-XL：传递方式Transformer-XL：相对位置编码Transformer-XL：最终形态总结XLNet
2021-11-04 12:40:47
551
原创 Bert之前的阅读理解模型
文章目录Multi-Hop机制Pointer networkR-net编码层：交互层GATED ATTENTION-BASED RECURRENT NETWORKSSELF-MATCHING ATTENTIONFusionNet编码层交互层输出层QANet整体结构结论Multi-Hop机制使context和question进行多次交互。One-Hop -> Multi Hop多次提取充足信息语义抽象化Multi-Hop的两种类型句子Attention的layer推荐Time
2021-10-29 14:30:08
282
原创 BI-DAF《BI-DIRECTIONAL ATTENTION FLOW FOR MACHINE COMPREHENSION》笔记
编码层Character Embedding LayerChar-CNN，防止OOV词Word Embedding LayerGloveContextual Embedding Layer解决一词多义的问题。用LSTM进行编码。比如apple这个单词，可以做苹果，也可以作为手机。Highway Network调整单词嵌入和字符嵌入的贡献比，用来做平衡。前馈神经网络：将权重矩阵W与y相乘。在W*y中添加偏差b。对W*y应用非线性函数g，如Relu或Tanh。高速神经网络：只.
2021-10-29 14:27:54
123
原创 机器阅读理解之开山鼻祖Teaching Machines to Read and Comprehend
原文链接：Teaching Machines to Read and Comprehend数据的构建命名实体替换例子：The BBC will be closed将BBC替换成一个entity的标志，比如e01。之后去预测这个entity是哪个。构建了CNN和Daily Mail语料库：实体类，答案在原文中。不适用与训练答案推理型的问题。模型架构用两层的LSTM去编码原文和问题Attentive Reader左边对应的是原文的矩阵。右边对应的是问题矩阵。Impatient
2021-10-21 16:27:17
123
原创 机器阅读理解Machine Reading Comprehension（MRC）基本介绍
文章目录NLP相关任务的基本流程MRC四大任务各任务相关数据集机器阅读理解架构及方法总体架构评测指标NLP相关任务的基本流程文本预处理：去除冗余字符标记（正则表达式）分词（jieba）单词处理（英文：大写->小写，单词还原，同义词扩展）去除停用词保护词应用于分词模块：开课吧，后厂理工学院同义词用于分词后的语料扩展：扩展->扩充停止词用于去除干扰信息，提取主要信息：的， 么， 了……MRC四大任务完形填空：原文中除去若干关键词，需要模型填入正确的单词或短语。多项选择：
2021-10-20 17:06:37
1180
原创 PGN（Pointer-Generator Networks）
1典型的seq2seq1.1存在的一些问题从模型的路径上看，encoder到实际输出有一定距离，从此限制了反向传播。OOV（Out-of-vocabulary未登录词 ）：摘要总结的结果有的时候并不准确，比如摘要的结果可能输出德国队以2-1比分击败阿根廷，但是实际比分是2-0，出现这个的原因是out-of-vocabulary words（OOV）的出现Word-repetition问题：摘要结果会出现repeat重复的信息，比如重复出现德国队击败阿根廷队PGN（Pointer-Genera
2021-10-19 16:17:09
826
转载 python中defaultdict用法详解
文章目录1.认识defaultdict2.使用1.认识defaultdict当我使用普通的字典时，用法一般是dict={},添加元素的只需要dict[element] =value即，调用的时候也是如此，dict[element] = xxx,但前提是element字典里，如果不在字典里就会报错，如：这时defaultdict就能排上用场了，defaultdict的作用是在于，当字典里的key不存在但被查找时，返回的不是keyError而是一个默认值，这个默认值是什么呢，下面会说。2.使用def
2021-09-07 15:06:22
272
原创 Gensim4.x和Gensim3.x的区别以及词向量训练时的简单使用笔记
文章目录1前言2安装3API3.1词向量训练3.2保存训练的词向量3.3加载训练的词向量3.4建立词向量词典1前言百度搜到的一些API接口参数已经不能使用了。Gensim是一款开源的第三方Python工具包，用于从原始的非结构化的文本中，无监督地学习到文本隐层的主题向量表达。它支持包括TF-IDF，LSA，LDA，和word2vec在内的多种主题模型算法，支持流式训练，并提供了诸如相似度计算，信息检索等一些常用任务的API接口2安装pip install gensim3API3.1词向量
2021-09-06 16:39:38
1824
原创 jieba分词常用API
cutcut提供最基本的分词功能，返回的结果是个生成器generator，可通过迭代的方法访问各个分词lcutlcut和cut方法的区别是：lcut返回的是list。也可以通过list(jieba.cut()) 来等价jieba.lcut()possegposseg.cut 和posseg.lcut的区别雷同，不过posseg还提供了词性word_pos_seq = posseg.lcut(sentence)word_seq, pos_seq = [], []for w, p i..
2021-09-06 12:13:23
310
原创 Pandas处理缺失数据dropna( )和fillna( )
方法说明dropno对缺失的数据进行过滤fillna将缺失数据补充为指定数据dropna( )参数：axis: default 0指行,1为列how: {‘any’, ‘all’}, default ‘any’指带缺失值的所有行;'all’指清除全是缺失值的thresh: int,保留含有int个非空值的行subset: 对特定的列进行缺失值删除处理inplace: 这个很常见,True表示直接在原数据上...
2021-09-05 16:45:37
259
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人