![](https://img-blog.csdnimg.cn/63b8bc8eae9d4a749dff20fc9fc03f84.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
自然语言处理
文章平均质量分 79
自然语言处理--- 我的科研之路
忆_恒心
计算机研究生,研究方向为人工智能中的自然语言处理
在校期间获过国家奖学金,发表过SCI一区顶刊论文,CCF-B会议论文,51CTO博客专家。
研究领域:C++,自然语言处理中的细粒度情感分析。
展开
-
文心一言---中国版的“ChatGPT”狂飙的机会或许要出现了
在研究生阶段同样是做自然语言处理分析的,明显能感受到国内的问答系统并不输给国外,最近看了一些文章和论文大多吹捧ChatGPT,贬低百度的发言,我觉得大可不必,文心一言的发布,或许真的能表明国内版本的问答系统的落地,一个真正由国内开发并且能给大多数国民使用这个初心和举措我觉得就应该被认可!3月16日,百度直播的宣讲会上有这么一句话,让我充满了期待:不曾想象的提问,有着不曾想象的回答对于大多数国人来说。原创 2023-03-17 09:36:26 · 7493 阅读 · 36 评论 -
文心一言话题的思考
在研究生阶段同样是做自然语言处理分析的,明显能感受到国内的问答系统并不输给国外,最近看了一些文章和论文大多吹捧ChatGPT,贬低百度的发言,我觉得大可不必,文心一言的发布,或许真的能表明国内版本的问答系统的落地,一个真正由国内开发并且能给大多数国民使用这个初心和举措我觉得就应该被认可!3月16日,百度直播的宣讲会上有这么一句话,让我充满了期待:不曾想象的提问,有着不曾想象的回答对于大多数国人来说,这是被向往的。。原创 2023-03-17 09:35:24 · 2808 阅读 · 1 评论 -
ModuleNotFoundError: No module named ‘apex‘与 error: legacy-install-failure
ModuleNotFoundError: No module named 'apex' error: legacy-install-failure Python 安装第三方库进行精度计算原创 2023-02-15 10:25:53 · 5116 阅读 · 0 评论 -
虎年吉祥,Knowledge-based Systems投稿经历分享
knowledge-based Systems投稿经验分享原创 2022-02-05 00:05:49 · 5329 阅读 · 8 评论 -
Origin2021 三维图的绘制_个别点中垂线绘制
在参数调节过程中,如果有两个变量,通过三维图进行绘制的效果会比较直观感觉Origin 2021版的功能确实比较强大而且功能比较强大。原创 2021-12-16 19:45:09 · 3394 阅读 · 2 评论 -
小白自然语言处理入门学习笔记(2020年)
准研究生学习笔记整理学习笔记指南原创 2020-08-27 17:23:11 · 840 阅读 · 2 评论 -
图神经网络论文学习笔记-Graph Neural Networks: A Review of Methods and Applications
2018年的一篇图神经网络的概述,从图的类型、图的类型、传播类型、训练类型进行GNN变体的分类,同时介绍了几个统一的框架以及描述了GNN的应用场景和提出了四个问题解决方案原创 2020-09-10 23:18:07 · 1488 阅读 · 1 评论 -
研一学习笔记-小白NLP入门学习笔记
⭐️我叫恒心,一名喜欢书写博客的研究生在读生。原创不易~转载麻烦注明出处1 前言离研究生新生开学还有一个月左右的时间了欧,相信研0的小伙伴们,或多或少都会有这么一段迷茫期,如果你即将从事自然语言处理,希望这篇文章可以帮到你。????2 小技巧2.1 心态首先端正好自己的心态,研究生其实和本科生真的很不一样,更多的时候是你在给老师打工,而不是一心学业。在这个过程中可能会有一些乱七八糟的事情打乱你。2.2 学习方向的问题所以必须要对自己的学习有一个清晰的认识和规划。原创 2021-07-31 16:35:49 · 1270 阅读 · 1 评论 -
Glove与Attention机制资料的整理
Glove:词向量经典模型:从word2vec、glove、ELMO到BERTPython 迁移学习P208-209 TensorFlow 自然语言处理P88-89理解GloVe模型(+总结)Attention:nlp中的Attention注意力机制+Transformer详解完全图解RNN、RNN变体、Seq2Seq、Attention机制对于Attention 会继续更新原创 2020-11-11 08:51:13 · 780 阅读 · 2 评论 -
统计学习大作业-BERT模型
问题:对于文本特征提取时,我们需要提取歌词中同一句子在不同语境的不同语义以及歌词对应的中心词等特征,然而在许多文本预处理中,不同语境下的向量表示是相同的,这对我们音乐数据集来说干扰性比较大。具体做法:对文本上下文的语意、中心词等特征进行特征提取,期望得到一个较好的文本特征值,然后我们将这部分的文本特征与我们的神经网络进行连接输出音乐流派预测。原创 2020-11-10 08:29:24 · 1576 阅读 · 1 评论 -
Bert 实战--学习资料的搜集
如何将Bert进行动态量化BERT,或者说Transformers的双向嵌入表示法,是一种预训练语言表示法的新方法,可以在许多流行的自然语言处理(NLP)任务(例如问题解答,文本分类)PyTorch中的动态量化支持将浮点模型转换为具有静态int8或float16数据类型的权重和动态量化激活的量化模型。当权重量化为int8时,激活(每批)动态量化为int8。在PyTorch中,我们有torch.quantization.quantize_dynamic API,该API用仅动态权重的量化版本替换指定的原创 2020-10-24 21:16:30 · 1137 阅读 · 0 评论 -
Seq2Seq2四个实验进行对比学习
四个实验对比分析,第一个实验Encoder+LSTM(多层)+Decoder(最普通),Seq2Seq(Encoder+GRU(单层)+Decoder)上下文向量仍然需要包含有关源句子的所有信息,共同学习(Decoder+Attention+Decoder) ,Packed Padded Sequences, Masking, Inference and BLEU原创 2020-10-03 20:42:04 · 868 阅读 · 0 评论 -
深度学习(自然语言处理)Bert学习资料整理
Seq2Seq模型简介注意力机制在解码器器的每⼀一时间步对输⼊入序列列中不不同时间步的表征或编码信息分配不不同的注意⼒力力⼀一样在注意⼒力力机制中,解码器器的每⼀一时间步将使⽤用可变的背景变量量注意⼒力力机制能够为表征中较有价值的部分分配较多的计算资源特别是启发了了依靠注意⼒力力机制来编码输⼊入序列列并解码出输出序列列的变换器器(Transformer)模型的设计Transformer抛弃了卷积神经网络和循环神经网络的架构基于注意力的神经网络机器翻译py..原创 2020-10-03 20:16:19 · 674 阅读 · 0 评论 -
深度学习(自然语言处理)Seq2Seq学习笔记(采用GRU且进行信息压缩)(二)
在上一个模型,我们的解码器与编码采用的都是多层的RNN,在多层的RNN我们可以使用dropout进行处理,且我们采用LSTM返回每个训练的cell,但是由于多层的RNN且线性层的设计导致了信息计算量大,没有很好的压缩起来。接下来我们采用GRU 并且我们的Encoder都采用单层RNN进行设计以期望进行信息压缩,优化我们的Seq2Seq。原创 2020-09-29 10:45:42 · 1422 阅读 · 0 评论 -
深度学习(自然语言处理)Seq2Seq学习笔记(动手实践)
目录0. 前言1. Seq2Seq模型简介2. 代码复现2.1 Introduction:2.2 准备数据:2.3 训练、验证和测试数据集2.4 创建Seq2Seq Model2.4.1 编码器Encoder:2.4.2 Decoder2.5 实现Seq2Seq模型2.6 训练模型2.7 评估:0. 前言首先这部分的学习还是看代码比较直观,代码看完后,在重新看完论文图片以及公式推导,更容易理解,考虑到Pytorch 与Tensorflow 如今框架比较原创 2020-09-27 21:27:51 · 2852 阅读 · 0 评论 -
深度学习(自然语言处理)RNN、LSTM、TextCNN
RNN 与DNN.CNN不同,它能处理序列问题,常见的序列问题:一段段连续的语音,一段段连续的手写文字,一条句子等等。这些序列长短不一,又比较难拆分成一个个独立的样本来训练RNN就是假设我们的样本是基于序列的。比如这么一个例子:”我” “吃” “苹果“ 词性与前个词语有很大的关系所以RNN可以解决BPTT(back-propagation through time)算法是常用的训练RNN的方法,其实本质还是BP算法,只不过RNN处理时间序列数据,所以要基于时间反向传播,故叫随时间反向传.原创 2020-09-26 17:29:40 · 1900 阅读 · 0 评论 -
深度学习(自然语言处理)-词嵌入
前言:由于最近在学习知识图谱的10.1 词嵌入(word2vec)10.1.1 为何不采用one-hot向量one-hot向量表示词(字符为词),假设一个词的索引为iii,为了得到该词的one-hot向量表示,我们创建一个全0的长为NNN的向量,并将其第iii位设成1.one-hot词向量无法准确表达不同词之间的相似度,如我们常常使用的余弦相似度由于任何两个不同词的one-hot向量的余弦相似度都为0它将每个词表示成一个定长的向量,并使得这些向量能较好地表达不同词之间的相似和类.转载 2020-09-21 07:34:34 · 771 阅读 · 0 评论