![](https://img-blog.csdnimg.cn/20210911095328300.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
自然语言处理
文章平均质量分 89
不仅仅是课程笔记噢
vector<>
这个作者很懒,什么都没留下…
展开
-
【一起入门NLP】中科院自然语言处理作业五:BiLSTM+Attention实现SemEval-2010 Task 8上的关系抽取(Pytorch)【代码+报告】
这里是国科大自然语言处理的第五次作业(终于是最后一次作业了,冲!),本篇博客是记录对论文:Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification 的复现过程。现在我们开始吧(今天也是花里胡哨的一天呢????)目录1. 程序与实验说明实验要求程序说明2. 知识概述2.1 信息抽取2.2 关系抽取2.3 BiLSTM3. 数据数据来源数据处理4. 模型模型结构LSTM LayerAtte原创 2021-12-27 15:58:04 · 5563 阅读 · 10 评论 -
【一起入门NLP】中科院自然语言处理作业四:RNN+Attention实现Seq2Seq中英文机器翻译(Pytorch)【代码+报告】
这里是国科大自然语言处理的第四次作业,同样也是从小白的视角解读程序和代码,现在我们开始吧(今天也是花里胡哨的一天呢????)目录1.程序与实验说明实验要求程序说明代码链接代码结构运行步骤2.机器翻译概述任务描述神经机器翻译系统需要考虑的问题:3.数据数据来源数据处理4. 模型5.训练6.测试1.程序与实验说明实验要求程序说明代码链接代码结构运行步骤2.机器翻译概述任务描述机器翻译是利用计算机把一种语言(源语言, source language) 翻译成另一种语言(目标语言, targe原创 2021-12-27 15:37:22 · 3581 阅读 · 10 评论 -
【一起入门NLP】中科院自然语言处理作业三:用BiLSTM+CRF实现中文命名实体识别(TensorFlow入门)【代码+报告】
目录欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入这里是欢迎使用Markdown编辑器你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markd原创 2021-11-29 00:23:16 · 5187 阅读 · 17 评论 -
【一起入门NLP】中科院自然语言处理作业二:中英文语料训练CBOW模型获得词向量(pytorch实现)【代码+报告】
学校自然语言处理第二次大作业,训练中英文语料获得词向量,那我们开始吧~、目录一、CBOW模型二、程序说明1. 输入与预处理模块2. 训练模块参数设置模型结构训练过程3.测试模块4. 输出处理模块5. 可视化模块三、实验结果中文结果可视化:英文结果可视化:四、疑问与思考1.cbow模型与词向量是什么关系2.keras如何实现cbow3.jieba分词:4.关于训练负样本的问题5.为什么中文语料要加载停用词作业要求:.原创 2021-11-14 21:43:54 · 5966 阅读 · 0 评论 -
【一起入门NLP】中科院自然语言处理作业一:RNN,DNN,CNN 进行猫狗分类(pytorch入门)【代码+报告】
学校自然语言处理的第一次大作业,之前没有过python基础,更不会pytorch,花了些功夫算是勉强完成了作业,用这篇博客记录一下。目录0.作业描述实验目的实验要求1.程序概况程序目录运行步骤2.数据准备3.网络搭建CNN网络结构模型损失优化记录DNN网络结构模型损失优化记录RNN网络结构模型损失优化记录4.训练网络5.测试网络6.思考与学习:1.pytorch安装及环境配置2.epoch, bat...原创 2021-10-27 15:44:34 · 4694 阅读 · 11 评论 -
【一起入门NLP】中科院自然语言处理期末考试*总复习*:考前押题+考后题目回忆
明天期末考试,胡玥老师亲自出题,整理一下我觉得最最最重点的地方押押题????????目录题型第三章:深度学习基础第四章:语言模型+词向量第五章:注意力机制第六章:NLP基础任务第七章:预训练语言模型题型填空题 1分x20个简答题 7分x6个综合题 38分计算题:维特比算法设计题第三章:深度学习基础????????:“第一章和第二章不考,第三章不考GNN,只考CNN DNN RNN ,是一些基本概念,比如BPTT 训练方法”????【一起入门NLP】中科院自然语言处理第3原创 2022-01-03 17:44:25 · 10159 阅读 · 6 评论 -
【一起入门NLP】中科院自然语言处理第1课-绪论
专栏介绍:本栏目为????2021秋季中国科学院大学胡玥老师的自然语言处理????课程记录,不仅仅是课程笔记噢~ 每周上两小节课,每周更新两篇博客,如果感兴趣的话,就和我一起入门NLP吧????第【1】课:绪论本节课老师讲了很多故事,整体介绍了自然语言处理这个领域以及它的发展历史,由于硬核的内容不多,因此本篇笔记也比较短~目录1. 自然语言处理与人工智能2. 自然语言处理发展3. 自然语言处理技术及应用架构1. 自然语言处理与人工智能什么是人工智能? 建立可智能化处原创 2021-09-08 11:34:39 · 805 阅读 · 0 评论 -
【一起入门NLP】中科院自然语言处理第2课-语料库与知识语言库
专栏介绍:本栏目为????2021秋季中国科学院大学胡玥老师的自然语言处理????课程记录,不仅仅是课程笔记噢~ 每周上两小节课,每周更新两篇博客,如果感兴趣的话,就和我一起入门NLP吧????第【2】课:语料库与知识语言库这节课也比较简单哦,从下面这张图可以看到本次课讲的是在基础理论之前对数据资源的介绍.目录1.语料库概述2. 语料库技术的发展3.典型语料库资源4.语言知识库1.语料库概述语料库是什么 现代的语料库是指存放在计算机里的原始语料文本 或原创 2021-09-08 14:39:00 · 722 阅读 · 0 评论 -
【一起入门NLP】中科院自然语言处理第3课-前馈神经网络DNN(反向传播+梯度下降)
专栏介绍:本栏目为 “2021秋季中国科学院大学胡玥老师的自然语言处理” 课程记录,不仅仅是课程笔记噢~ 如果感兴趣的话,就和我一起入门NLP吧????目录人工神经元模型激活函数前馈神经网络DNN结构????反向传播算法(Back Propagation)1.损失函数2.梯度下降算法步骤问题种类3.梯度消失问题问题定义解决方法人工神经元模型人工神经元是对生物神经元的模仿1. 生物神经元从图中可以看出生物神经元连接这多个轴突,有多个输入和一个输出2. 人工神经元模型:人工神经网络:由多原创 2021-12-29 16:56:25 · 1676 阅读 · 0 评论 -
【一起入门NLP】中科院自然语言处理第4课-卷积神经网络CNN
目录概述CNN结构卷积层池化层采样(Pooling)方法:卷积层与池化层的连接方式全连接层结构特性CNN学习CNN应用卷积运算一维卷积二维卷积多通道卷积概述为什么说CNN适用于处理图像问题呢?在全连接前馈神经网络中,如果第l 层有nl 个神经元,第l -1 层有n(l-1)个神经元,连接边有n(l) * n(l-1)个,也就是权重矩阵有n(l) * n(l-1)个参数。当n 都很大时,权重矩阵的参数非常多,训练的效率会非常低。尤其对于图像问题,设一张图像的大小为 10 x 10 ,如果第一隐藏层原创 2021-12-30 15:54:20 · 1328 阅读 · 0 评论 -
【一起入门NLP】Implementing a CNN for Text Classification in Tensorflow
原文链接:http://www.wildml.com/2015/12/implementing-a-cnn-for-text-classification-in-tensorflow/很可惜的是原文链接已经打不开了,下文来源于其他转载者,不少图片已经丢失了。In this post we will implement a model similar to Kim Yoon’s Convolutional Neural Networks for Sentence Classification. The.转载 2022-03-03 10:26:46 · 559 阅读 · 0 评论 -
【一起入门NLP】中科院自然语言处理第5课-循环神经网络RNN(BPTT+LSTM+GRU)
目录RNN概述RNN结构RNN训练:BPTTRNN改进及变形RNN应用RNN概述RNN引入:DNN、CNN 输入、输出定长;处理输入、输出变长问题效率不高。而自然语言处理中的语句通常其长度不固定。单一DNN、CNN 无法处理时序相关序列问题RNN核心思想:将处理问题在时序上分解为一系列相同的“单元”,单元的神经网络可以在时序上展开,且能将上一时刻的结果传递给下一时刻,整个网络按时间轴展开。即可变长。RNN结构RNN输入和输出结构可以等长或不等长,RNN结构按照时序展开是:(每一块都原创 2021-12-31 17:07:05 · 1346 阅读 · 0 评论 -
【一起入门NLP】中科院自然语言处理第*课-图神经网络GNN(GCN)
专栏介绍:本栏目为 “2021秋季中国科学院大学胡玥老师的自然语言处理” 课程记录,不仅仅是课程笔记噢~ 如果感兴趣的话,就和我一起入门NLP吧🥰目录一、概述GNN引入GNN结构图卷积神经网络GCN1.频域卷积神经网络Spectral-based GCN2.空域卷积神经网络Spatial-based GCN二、Spatial-based GCN ⭐GCN结构卷积步骤Basic GNN VS GCN一、概述GNN引入在之前学习的深度学习模型中,他们的输入都是在欧式空间定义的图片或者文字,图神经网.原创 2022-03-05 19:52:47 · 1786 阅读 · 4 评论 -
【一起入门NLP】中科院自然语言处理第6课-语言模型-传统语言模型(n-gram)
专栏介绍:本栏目为 “2021秋季中国科学院大学胡玥老师的自然语言处理” 课程记录,不仅仅是课程笔记噢~ 如果感兴趣的话,就和我一起入门NLP吧????目录语言模型基本概念语言模型参数估计参数的数据平滑语言模型性能评价语言模型应用语言模型基本概念语言模型的基本思想:句子S=w1,w2,…,wn 的概率 p(S) 刻画句子的合理性对语句合理性的判断:规则法:判断是否合乎语法、语义(语言学定性分析)统计法: 通过可能性(概率)的大小来判断(数学定量计算)语言模型结构:说明:w原创 2021-12-31 21:13:41 · 1819 阅读 · 0 评论 -
【一起入门NLP】中科院自然语言处理第7课-语言模型-神经语言模型(NNLM+RNNLM)
专栏介绍:本栏目为 “2021秋季中国科学院大学胡玥老师的自然语言处理” 课程记录,不仅仅是课程笔记噢~ 如果感兴趣的话,就和我一起入门NLP吧????目录1. 神经语言模型概述2. DNN语言模型(NNLM)3. RNN语言模型(RNNLM)4. RNN语言模型变形1. 神经语言模型概述对于语言模型参数P(Wi | W1W2…Wi-1)统计语言模型:用概率统计法学习参数(在上一篇博客中我们做过一个似然估计法的例题)神经语言模型:用神经网络学习参数使用DNN 学习模型参数 :NNLM 模型原创 2021-12-31 21:43:55 · 1282 阅读 · 0 评论 -
【一起入门NLP】中科院自然语言处理第8课-语言模型-词向量
专栏介绍:本栏目为 “2021秋季中国科学院大学胡玥老师的自然语言处理” 课程记录,不仅仅是课程笔记噢~ 如果感兴趣的话,就和我一起入门NLP吧????目录1. 词表示概述离散表示分布式表示2. 经典词向量表示模型(1) NNLM模型词向量(2) RNNLM模型词向量(3) C&W 模型词向量(4) CBOW 模型词向量(5)Skip-gram模型词向量小结3. 词向量特性及应用1. 词表示概述词的表示自然语言问题要用计算机处理时,第一步要找一种方法把这些符号数字化,成为计算机方便处理的原创 2022-01-02 14:51:02 · 1255 阅读 · 2 评论 -
【一起入门NLP】中科院自然语言处理第9课-NLP中的注意力机制(Attention)
专栏介绍:本栏目为 “2021秋季中国科学院大学胡玥老师的自然语言处理” 课程记录,不仅仅是课程笔记噢~ 如果感兴趣的话,就和我一起入门NLP吧????目录传统注意力机制注意力结构软注意力机制硬注意力机制注意力机制优势与不足注意力????编码????机制单一向量编码不同序列间编码同一序列自编码:自注意力多头注意力注意力机制实际上是一个????加权求和模块????加权求和模块 :神经网络中的一个组件,可以单独使用,但更多地用作网络中的一部分。传统注意力机制注意力结构输入:Q,K(集合)原创 2022-01-02 16:07:24 · 2421 阅读 · 2 评论 -
【一起入门NLP】中科院自然语言处理第10课-NLP基础任务①:文本分类问题
专栏介绍:本栏目为 “2021秋季中国科学院大学胡玥老师的自然语言处理” 课程记录,不仅仅是课程笔记噢~ 如果感兴趣的话,就和我一起入门NLP吧????目录文本分类任务概述????序列结构????文本分类方法????图结构???? 文本分类方法文本分类评价指标二分类评价指标◆ 准确率(Accuracy)◆ 精确率(Precision)◆ 召回率(Recall)◆ 精确度和召回率的调和均值(F-Score)多分类评价指标(假设有n个类别)◆准确率(Accuracy)◆ 宏平均(Marco Averaged)原创 2022-01-02 18:43:07 · 922 阅读 · 0 评论 -
【一起入门NLP】中科院自然语言处理第11课-NLP基础任务②:文本匹配问题
专栏介绍:本栏目为 “2021秋季中国科学院大学胡玥老师的自然语言处理” 课程记录,不仅仅是课程笔记噢~ 如果感兴趣的话,就和我一起入门NLP吧????目录文本匹配概述文本匹配方法文本匹配概述文本匹配是一个很宽泛的概念,很多自然语言处理的任务都会涉及文本匹配问题,根据自然语言处理任务的不同,“匹配”的定义可能非常不同。例1:两个句子“感冒了是否要吃药”和“感冒了要吃什么药” 问:两个句子是否表达同样的意思 ?该问题的句子匹配是计算二个句子相似度,可建模为二分类问题例2:两个句子“我原创 2022-01-02 19:01:17 · 1076 阅读 · 0 评论 -
【一起入门NLP】中科院自然语言处理第12课-NLP基础任务③:序列标注问题(马尔可夫模型)
专栏介绍:本栏目为 “2021秋季中国科学院大学胡玥老师的自然语言处理” 课程记录,不仅仅是课程笔记噢~ 一起来看看吧????这里写目录标题序列标注问题概述马尔可夫模型隐马尔可夫模型神经网络序列标注模型序列标注问题概述在自然语言处理任务中,有许多的任务可以转化为**“将输入的语言序列转化为标注序列”**来解决问题。如,命名实体识别、信息抽取、词性标注……标注问题是分类问题的推广,是复杂结构预测的简单形式(监督学习),许多自然语言处理问题 均可转化为序列标注问题。马尔可夫模型马尔科夫链:原创 2021-12-27 15:19:11 · 1030 阅读 · 0 评论 -
【一起入门NLP】中科院自然语言处理第14课-Transfomer以及Transfomer架构生成模型
专栏介绍:本栏目为 “2021秋季中国科学院大学胡玥老师的自然语言处理” 课程记录,不仅仅是课程笔记噢~ 如果感兴趣的话,就和我一起入门NLP吧????目录Transformer 模型结构Transformer 训练训练过程MASKPadding MaskSequence MaskTransformer 预测Transformer 模型结构????Transfomer 模型特点:全部采用Attention机制克服了RNN无法并行计算的缺点,可以高度并行,训练速度快;具有捕捉long dist原创 2022-01-02 21:53:21 · 951 阅读 · 0 评论 -
【一起入门NLP】中科院自然语言处理第13课-NLP基础任务④:序列生成问题(Seq2Seq)
专栏介绍:本栏目为 “2021秋季中国科学院大学胡玥老师的自然语言处理” 课程记录,不仅仅是课程笔记噢~ 如果感兴趣的话,就和我一起入门NLP吧????目录1.序列生成问题概述2.生成式-序列生成模型基于RNN结构生成模型RNN+Attention 架构生成模型????Transformer 架构生成模型3.选择式-序列生成模型指针网络4.选择-生成式序列生成模型指针生成器网络(Pointer-generator network)拷贝网络( Copy-Network )5.序列生成模型评价指标正确率 (p原创 2022-01-02 20:41:59 · 1580 阅读 · 0 评论 -
【一起入门NLP】中科院自然语言处理第15课-预训练语言模型:预训练+精调范式(第三范式)
专栏介绍:本栏目为 “2021秋季中国科学院大学胡玥老师的自然语言处理” 课程记录,不仅仅是课程笔记噢~ 如果感兴趣的话,就和我一起入门NLP吧????目录预训练语言模型概述预训练语言模型预训练 - 精调范式预训练语言模型分类经典的预训练语言模型TagLMEMLOULM-FiTGPT????BERTRoBERTaXLNetBART预训练语言模型概述预训练语言模型预训练语言模型是采用迁移学习的方法(归纳迁移学习)通过自监督学习从大规模数据中获得与具体任务无关的预训练模型 ,然后用训练好的预训练模型原创 2022-01-03 10:29:12 · 1406 阅读 · 2 评论 -
【一起入门NLP】中科院自然语言处理第16课-简明扼要:红到发紫的prompt是什么?【上】
前几天自然语言处理课学到了“预训练语言模型”这一章,在最后老师介绍了今年刚刚提出来的Prompt,并强调:这东西现在很火????,想发论文的赶紧行动。由于和我的研究方向相关,因此打算对Prompt做一个系统的调研。我们现在开始吧!目录从四大范式到Prompt第一范式:特征工程第二范式:架构工程第三范式:目标工程第四范式:Prompt挖掘工程为什么说Prompt适用于小样本学习甚至零样本学习?从四大范式到Prompt 在NLP的发展过程中,经历了4大范式,这里的范式不禁让人想起数据库中学到范式原创 2021-12-06 10:10:56 · 3044 阅读 · 3 评论 -
【一起入门NLP】中科院自然语言处理第17课-详细介绍:红到发紫的Prompt是什么?【下】
在简明扼要:红到发紫的prompt是什么?中笔者从四大范式的发展入手简单介绍了Prompt的思想,并在OpenPrompt工具包如何使用?–【踩坑记录】中记录了使用OpenPrompt的细节,这篇文章笔者想要介绍一些Prompt的细节~目录下游任务重构二分类多分类匹配任务下游任务重构在上一篇博客中我们介绍到,Prompt的思想是重构下游任务,将其输入输出形式改造成为预训练模型的形式,并且举了一个情感二分类的例子,那么除此之外还有哪些任务可以重构呢?接下来我们再举几个小例子以加深理解。二分类多.原创 2021-12-09 20:33:09 · 2049 阅读 · 2 评论 -
【踩坑记录】OpenPrompt工具包如何使用?
家人们,泪目啊!整整弄了好几个小时,终于是跑起来了,跑起来了啊家人们,一起看看我踩过了哪些坑吧。目录安装运行小democannot import name 'load_dataset'下载数据集demo详解OpemPromt是一个专门针对第四范式开发的工具,读者可以通过下面的参考资料和文献详细了解这个工具,本篇文章仅重点记录如何使用这个工具。链接:https://github.com/thunlp/OpenPrompt论文https://arxiv.org/abs/2111.01998官方.原创 2021-12-06 21:43:52 · 8066 阅读 · 20 评论