我想了很多事情
码龄7年
关注
提问 私信
  • 博客：45,703
    动态：9
    45,712
    总访问量
  • 75
    原创
  • 2,016,953
    排名
  • 8
    粉丝
  • 0
    铁粉

个人简介：想了太多事情

IP属地以运营商信息为准，境内显示到省（区、市），境外显示到国家（地区）
IP 属地：北京市
  • 加入CSDN时间： 2018-02-01
博客简介：

weixin_41701299的博客

查看详细资料
个人成就
  • 获得9次点赞
  • 内容获得9次评论
  • 获得51次收藏
创作历程
  • 1篇
    2020年
  • 61篇
    2019年
  • 14篇
    2018年
成就勋章
兴趣领域 设置
  • 人工智能
    深度学习自然语言处理pytorchnlp
创作活动更多

新星杯·14天创作挑战营·第9期

这是一个以写作博客为目的的创作活动，旨在鼓励大学生博主们挖掘自己的创作潜能，展现自己的写作才华。如果你是一位热爱写作的、想要展现自己创作才华的小伙伴，那么，快来参加吧！我们一起发掘写作的魅力，书写出属于我们的故事。我们诚挚邀请你们参加为期14天的创作挑战赛！ 注： 1、参赛者可以进入活动群进行交流、分享创作心得，互相鼓励与支持（开卷），答疑及活动群请见 https://bbs.csdn.net/topics/619626357 2、文章质量分查询：https://www.csdn.net/qc

473人参与 去参加
  • 最近
  • 文章
  • 代码仓
  • 资源
  • 问答
  • 帖子
  • 视频
  • 课程
  • 关注/订阅/互动
  • 收藏
搜TA的内容
搜索 取消

Transformer源码分析

import numpy as npimport torchimport torch.nn as nnimport torch.nn.functional as Fimport math, copy, timefrom torch.autograd import Variableimport matplotlib.pyplot as pltimport seabornseabor...
原创
发布博客 2020.01.05 ·
308 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

XLnet

自回归语言模型（Autoregressive LM）语言模型其实是根据上文内容预测下一个可能跟随的单词，就是常说的自左向右的语言模型任务，或者反过来也行，就是根据下文预测前面的单词，这种类型的LM被称为自回归语言模型。GPT 就是典型的自回归语言模型。ELMO尽管看上去利用了上文，也利用了下文，但是本质上仍然是自回归LM，这个跟模型具体怎么实现有关系。ELMO是做了两个方向（从左到右以及从右...
原创
发布博客 2019.10.13 ·
314 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

Chinese NER Using Lattice LSTM

本文研究了lattice-structured LSTM模型用来做中文的NER，在character-based的序列标注的模型上改进得到的，在character-based模型中的每个character cell vector通过词向量输入门的控制引入以当前字符结束的在词表中出现的所有词的word cell vector得到新的character cell vector，用新的charact...
原创
发布博客 2019.08.18 ·
263 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

利用词典进行命名实体

1.本文提供了只需要提供字典的情况下，实施NER任务，并对进行了标注数据的对比试验。2.使用未标记数据和命名实体字典来执行NER的方法。作者将任务表示为正未标记（PU, Positive-Unlabeled）学习问题，并由此提出一种PU学习算法来执行该任务。该方法的一个关键特征是它不需要字典标记句子中的每个实体，甚至不要求字典标记构成实体的所有单词，这大大降低了对字典质量的要求。文章最后对四个...
原创
发布博客 2019.08.11 ·
1365 阅读 ·
0 点赞 ·
2 评论 ·
4 收藏

QA问题

1.文章采用Document Retriever + Document Reader, 其中Document Retriever的问题是从Wikipedia抽取出相关的文档或段落，然后利用Document Reader进行阅读理解。2.Document Retriever采用的是TFIDF，Document Reader采用的是Bi-LSTM3.Document Retriever会检索到...
原创
发布博客 2019.07.28 ·
512 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

Reading Wikipedia to Answer Open-Domain Questions

本文是发表在 ACL2017 上的一篇论文，（1）Document Retriever：基于二元语法哈希（bigram hashing）和TF-IDF匹配的搜索组件对于给出的问题，有效地返回相关的文档（2）Document Reader：多层RNN机器阅读理解模型，在（1）所返回的文档中查找问题答案的所在。（3）Document Retriever结合 TF-IDF 加权的词袋向量...
原创
发布博客 2019.07.19 ·
216 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

QA问题总结

最近看了一些QA任务关于《Lstm-based Deep Learning Models for Non- factoid Answer Selection》的体会1.本文针对答案选择任务应用了通用的深度学习框架，该框架不依赖于手动定义的特征或语言工具。基本框架是建立BiLSTM模型的问题和答案的嵌入，并通过余弦相似度来衡量它们的相似程度。2.文章在通用的框架上做了几点改进：通过将卷积神经...
原创
发布博客 2019.07.13 ·
2289 阅读 ·
0 点赞 ·
0 评论 ·
4 收藏

bert总结

1.BERT是一个预训练的模型，用于下游任务的使用，这里在解释下什么是与训练模型：假设已有A训练集，先用A对网络进行预训练，在A任务上学会网络参数，然后保存以备后用，当来一个新的任务B，采取相同的网络结构，网络参数初始化的时候可以加载A学习好的参数，其他的高层参数随机初始化，之后用B任务的训练数据来训练网络，当加载的参数保持不变时，称为"frozen"，当加载的参数随着B任务的训练进行不断的改...
原创
发布博客 2019.06.29 ·
501 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

keras_bert运算

import numpy as npfrom keras_bert import load_trained_model_from_checkpoint,Tokenizerimport codecsimport pandas as pdfrom keras.layers import *from keras.models import Modelimport keras.backend...
原创
发布博客 2019.06.27 ·
1373 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

elmo问题

elmo中的拼接方式是否可以改变？
原创
发布博客 2019.06.25 ·
389 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

elmo总结

在回顾elmo能发现是从word2vec的一大进步，在bert,XL-Net横空出世的现在，elmo也是起到承上启下的作用，现在就总结下elmo吧。1.ELMo是一种新型深度语境化词表征，可对词进行复杂特征(如句法和语义)和词在语言语境中的变化进行建模，利用了隐状态Ht2.通过双向语言模型进行建模，虽然现在看起来不管是前向还是反向拼接在一起有点粗暴3.前后向语言模型为LSTM所构建...
原创
发布博客 2019.06.25 ·
408 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

elmo调试练习

import tensorflow_hub as hubimport tensorflow as tfimport reimport numpy as npimport pickleimport pandas as pdfrom nltk import WordNeatLemmatizer,word_tokenizefrom nltk.corpus import stopwords...
原创
发布博客 2019.06.25 ·
566 阅读 ·
0 点赞 ·
1 评论 ·
1 收藏

ELMO

最近重温了下elmo模型，主要有几点： 1- 相比于word2vec这些多了上下文的理解。 2 - 基本单元是一个两层的基于字符卷积的网络. 3- 内部状态的组合构成新的词汇向量表示. 4-elmo采用了双向bi-lstm模型，利用了语言模型，从elmo公式中我们就可以看出, 向左和向右的LSTM是不同的, 也就是说有两个 LSTM单元.​是输入的意思. 输入的...
原创
发布博客 2019.06.22 ·
234 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

Ner

import codecsimport randomimport numpy as npfrom gensim import corporafrom keras.layers import Dense,GRU,Bidirectional,SpatialDropout1D,Embeddingfrom keras import preprocessingfrom keras.models...
原创
发布博客 2019.06.09 ·
1808 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

Bert文本分类 run_classifier内容

# coding=utf-8# Copyright 2018 The Google AI Language Team Authors.## Licensed under the Apache License, Version 2.0 (the "License");# you may not use this file except in compliance with the Lice...
原创
发布博客 2019.05.30 ·
1337 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

PDF转换txt

# -*- coding: utf-8 -*-import sys#reload(sys)#sys.setdefaultencoding('utf-8')from pdfminer.pdfparser import PDFParserfrom pdfminer.pdfdocument import PDFDocumentfrom pdfminer.pdfpage import ...
原创
发布博客 2019.05.23 ·
336 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

excel转换txt

import xlrdimport osimport sysdef getListFiles(path): ret = [] for root, dirs, files in os.walk(path): for filespath in files: if filespath.endswith(".xls"): ...
原创
发布博客 2019.05.23 ·
756 阅读 ·
0 点赞 ·
0 评论 ·
2 收藏

wod清洗，docx

import docxfrom win32com import client as wcimport reimport osimport os.pathdef getListFiles(path): ret = [] for root, dirs, files in os.walk(path): for filespath in files: ...
原创
发布博客 2019.05.23 ·
189 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

word处理

#读取docx中的文本代码示例import docxfrom win32com import client as wcimport reimport osimport os.pathdef getListFiles(path): ret = [] for root, dirs, files in os.walk(path): for filespath...
原创
发布博客 2019.05.23 ·
476 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏
加载更多