CSDNXXCQ的博客

导入包并打开数据看看#SVM文本分类import codecsimport osimport jiebatrain_file='cnews.train.txt' # training data file name test_file='cnews.test.txt' # test data file namevocab='cnews_dict.txt' # dictionarywith codecs.open(train_file, 'r', 'utf-8') as f:

本文目录针对词语针对句子针对文章针对词语关键词提取TF-IDFText-Rank针对句子分句分词命名实体识别词性标注依存分析序列标注针对文章PLSASVD奇异值分解LDAEM算法

本文目录概念引入机器阅读理解的简要介绍论文研究背景相关数据集的时间脉络问答系统的分类研究成果实验结果概念引入有关中文实体命名识别逻辑回归线性回归时间序列分析神经网络self-attention与softmax的推导word2evcglove双向LSTM机器阅读理解的简要介绍在2002年的一篇论文中，学者C. Snow将阅读理解定义为“通过互动从书面文本中提取和构建文本语义的过程”。机器阅读理解的目标是利用人工智能技术使计算机具有与人类一样的理解文本的能力。大部分机器阅读理解任务采用

本文目录概念引入文章背景信息抽取主要包括以下子任务研究成果关系抽取分类关系抽取方法关系抽取的挑战该模型的结构语法特征句法特征结果分析概念引入有关中文实体命名识别逻辑回归线性回归时间序列分析神经网络self-attention与softmax的推导word2evcglove文章背景1.在本文之前，关系提取主要依赖于统计机器学习方法，其性能是高还是低这取决于提取特征的质量。2.特征提取依赖于现有NLP系统的输出，这将导致错误在现有NLP工具中传播依赖NLP工具3.任务依赖性导致复杂

概念引入逻辑回归线性回归时间序列分析神经网络self-attention与softmax的推导word2evcglove摘要大意在使用简单的CNN模型在预训练词向量的基础上进行微调就可以在文本分类任务上就能得到很好的结果。通过对词向量进行微调而获得的任务指向的词向量就能得到更好的结果。同时也提出了一种即使用静态预训练词向量又使用任务指向词向量的文本分类模型。最终在7个文本分类任务中的四个上都取得了最好的分类准确率。TextCNN模型的结构把每个词都映射成一个词向量，然后做一维

本文目录概念引入由来摘要大意C2W模型语言模型的训练流程词性标注模型研究成果概念引入逻辑回归线性回归时间序列分析神经网络self-attention与softmax的推导word2evc由来词向量的学习在自然语言处理的应用中非常重要，词向量可以在空间上捕获词之间的语法和语义相似性。但是词向量机制中是假设词和词之间是独立的，这种独立性假设是有问题的，形式的一致性会导致功能的一致性。但这种形态和功能之间的关系有不是绝对的，为了学习这种关系，本文在字符嵌入上使用双向LSTM来捕捉这种关系。 本文

概念引入逻辑回归线性回归时间序列分析神经网络self-attention与softmax的推导word2evc该篇论文的背景word2evc提出的方法无法使用全局的统计信息矩阵分解方法在词对推理的任务上表现很差模型效果对比在词对推理的数据集上取得了良好的效果(图中模型中地最好结果)...

word2evc-基于向量空间中词表示的有效估计目录概念引入摘要大意介绍词的表示方式评价指标词向量训练方式研究成果概念引入逻辑回归线性回归时间序列分析神经网络self-attention与softmax的推导语言模型语言模型（language model, LM）在自然语言处理中占有重要的地位，尤其在基于统计模型的语音识别、机器翻译、汉语自动分词和句法分析等相关研究中得到了广泛应用。概率P：语言模型是计算一个句子是是句子的概率。比如，对ni hao的判定你好 P = 0.8腻浩

深度学习神经网络论文研读-自然语言处理方向-elctra-目录概念引入ELECTRA比BERRT快的原因摘要elctra的判别器与生成器模型训练其他训练方式效果比较论文意义概念引入该篇论文对GAN有要求，对GAN不熟悉的朋友，可以先看这篇博文简单理解下MASK机制的简单理解有关NLP的一些基本概念详见ELECTRA比BERRT快的原因背景当今的SOTA的预训练语言模型，比如BERT，采用Mask language model(MLM)的方式破坏输入的内容，通过双向语言模型进行预测重构；然而

概念引入命名实体识别命名实体识别（Named Entity Recognition，NER）是NLP中一项非常基础的任务。NER是信息提取、问答系统、句法分析、机器翻译等众多NLP任务的重要基础工具。定义命名实体识别（Named Entity Recognition，简称NER），又称作“专名识别”，是指识别文本中具有特定意义的实体，主要包括人名、地名、机构名、专有名词等。简单的讲，就是识别自然文本中的实体指称的边界和类别。信息抽取信息抽取（information extraction），即从自

这是因为要读取的CSV文件有列名删除那列或者改写为##导入LOAD CSV WITH HEADERS FROM "file:///XXX.csv" AS lineMERGE (z:第一列{name:line.name})

下载下载地址目录结构：bin目录：用于存储Neo4j的可执行程序；conf目录：用于控制Neo4j启动的配置文件；data目录：用于存储核心数据库文件；plugins目录：用于存储Neo4j的插件；配置环境变量我的电脑→属性→高级系统设置→高级→环境变量新建变量：NEO4J_HOME，变量值：E:\neo4j-community-3.5.13修改变量：path，增加值：%NEO4J_HOME%\bin;启动打开命令行，进入neo4j的bin目录，输入命令：neo4j console。

该机制的作用在于让计算机实现通过对上下文的判断理解某个词在该句子意义中的占比比如：The animal didn’t cross the street because is was too tired.我们要判断该句子中的it在改句子意义上的分量那么我们就要知道 the,animal,didn’t,cross在该句中与it的联系原理:1将句子的单词进行位置编码，比如The→0 animal→1然后构建向量矩阵2得到该词与该句子中其他词的关系(联想加权评分)3构建三个矩阵分别查询当前词与

原因:每个词的位置不同，要做不同的加权方法一般有两种:1对不同位置的词进行独热编码(比如第一个词标记为1000000000)2利用正弦余弦的周期进行表达

目的:使网络捕捉到更丰富的特征/信息。流程1通过不同的head得到多个特征表达，比如self-attention中的矩阵Q*K的内积然后得出的特征2将所有的特征拼接到一起比如self-attention中的Z=A/(A+B+C)*V1+B/(A+B+C)*V2+C/(A+B+C)*V33再通过一层全连接层实现降维(softmax,relu)计算:目的获取X1,X2与Z1的关系(偏向X1),获取X1,X2与Z1的关系(偏向X2)然后再进行一次self-attention分别得出特征r1与特征r

目的:归一化原理:不管有多少特征，通过该计算方式使它们均值为0，标准差为1

原理：把文本数据结构处理的跟CNN要求一致就行了那么此时只要把卷积核调小比如一般的单词长度不会超过5，我们把卷积核设为1*5，调整步长为1，一个一个去输入，那么每个单词都能放进卷积核里，也就能像图片一样输入到模型中然后我们进一步改进调整为2*5，那么一次就能输入两个词未写完...

1将词转换为词向量2把数据处理成模型需要的形状(shape)对数据的预处理→把要训练的几句话展开→展开成几个词把词转换为向量→指定最大长度(输入模型的向量中，长度是有限的，比如指定最大为100那么超过100的部分就不要了，小于100的补0)对数据预处理之前想要达到的目的→适应要使用的模型未写完...

tramsformer相比传统的解决方案的优势在于能够进行并行计算编码方面:1输入X,X是一个序列→里面包含好几句话→每句话有许多词⬇⬇⬇⬇2对词进行预处理→周期性的标志(正弦余弦)，独热编码(这一步中，主要是因为NLP模型一般都是人家训练好的，我们调调参就能上)⬇⬇⬇⬇3输入刚刚处理好的词，做N次self-attention⬇⬇⬇⬇4做multi-head的self-attention⬇⬇⬇⬇5随着层数的堆叠可能越预测效果越不理想使用残差连接解码方面:1使用mask机制(比如考试不

简单来说就是得出A然后结合A与下一个特征得出B,结合A,B与下一个特征得出C，那么整个句子的内在关联就是Z=A+B+C

目的:避免经过多层训练之后的效果不如前面的层原理:同时计算出两个数值，一个是经过多层训练的X，另一个是保留的上一层的X，两个效果进行比较一句话:不能比原来的效果差