nlp
文章平均质量分 89
野指针小李
这个作者很懒,什么都没留下…
展开
-
prompt learning——你需要掌握的基础知识以及离散型 prompt 的代码
prompt learning 是这两年很火热的技术,在 few-shot、zero-shot 领域都有很出色的表现。本文简要介绍了何为“预训练”、“微调”、“预训练语言模型”,并且提供了一份离散型 prompt learning 的代码。原创 2022-08-19 22:01:47 · 3354 阅读 · 0 评论 -
BERT学习笔记(4)——小白版ELMo and BERT
由于我没有读过原论文,该博客写的内容几乎来自于李宏毅老师的BERT课程,链接放在的最后。该博客用于梳理笔记,以便后面复习的时候使用。如果后面读了相关论文或者有了新的理解会进行更改补充。由于是小白版本的内容,所以不会涉及到任何公式,仅用于理解该模型的作用。目录1 ELMo2 BERT2.1 Why Encoder?2.2 BERT如何做pre-train2.2.1 Masked LM2.2.2 Next Sentence Prediction2.3 BERT的下游任务2.3.1 文本分类任务2.3.2.原创 2021-09-01 17:36:47 · 530 阅读 · 0 评论 -
BERT学习笔记(3)——self-supervised learning and pre-train model
目录1 self-supervised learning2 pre-train model2.1 one-hot2.2 BOW2.3 TF-IDF2.4 n元语言模型2.5 Word2vec and GloVe2.6 contextualized word embedding参考1 self-supervised learningself-supervised learning (自监督学习)据李宏毅老师的课件说,这是19年提出的一个概念。这是无监督学习的一个子集。其核心思想是:不需要人工标注数据,根据原创 2021-08-31 17:17:16 · 688 阅读 · 0 评论 -
BERT学习笔记(2)——Transformer
由于我没有读过原论文,该博客写的内容几乎来自于李宏毅老师的Transformer课程,链接在这里:《台大李宏毅21年机器学习课程 self-attention和transformer》。该博客用于梳理笔记,以便后面复习的时候使用。如果后面读了相关论文或者有了新的理解会进行更改补充。目录1 简介2 Encoder3 Decoder4 参考1 简介Transformer是一个Seq2seq(sequence to sequence)模型,其实质上是一个Encoder和Decoder的结合。其简略结构图.原创 2021-08-24 16:07:03 · 274 阅读 · 0 评论 -
BERT学习笔记(1)——self-attention
由于我没有读过原论文,该博客写的内容几乎来自于李宏毅老师的self-attention课程,链接在这里:《台大李宏毅21年机器学习课程 self-attention和transformer》。该博客用于梳理笔记,以便后面复习的时候使用。如果后面读了相关论文或者有了新的理解会进行更改补充。目录1 self-attention的思想及框架2 self-attention工作流程3 Multi-head self-attension4 几个tricks5 参考1 self-attention的思想及框架.原创 2021-08-18 17:55:26 · 439 阅读 · 0 评论 -
TensorFlow学习笔记(4)——TensorFlow实现GloVe
本文的代码来自于《TensorFlow自然语言处理》(Natural Language Processing with TensorFlow),作者是Thushan Ganegedara。对了宝贝儿们,卑微小李的公众号【野指针小李】已开通,期待与你一起探讨学术哟~摸摸大!目录0 前言1 数据集下载2 读取数据集3 创建词典4 生成GloVe的batch数据5 生成共现概率矩阵6 GloVe算法6.1 定义超参数6.2 定义输入与输出6.3 定义模型参数以及其他变量6.4 定义模型计算6.5 相似度计.原创 2021-07-08 11:10:19 · 478 阅读 · 2 评论 -
GloVe原理与公式讲解
GloVe是2014年提出的一种词嵌入方法,结合了矩阵分解以及上下文窗口两种词嵌入方法。相较于Word2Vec而言,其论文写得很清晰。本文主要是整理了该论文中的内容。对了宝贝儿们,卑微小李的公众号【野指针小李】已开通,期待与你一起探讨学术哟~摸摸大!目录1 背景知识1.1 基于矩阵分解的词嵌入技术1.2 基于局部窗口的词嵌入技术2 GloVe2.1 共现概率矩阵2.1.1 共现概率矩阵构建2.2 目标函数构建3 参考1 背景知识GloVe是结合了基于矩阵分解的词嵌入技术以及基于局部窗口的词嵌入技.原创 2021-07-07 10:43:26 · 1285 阅读 · 1 评论 -
TensorFlow学习笔记(3)——TensorFlow实现Word2Vec
本文的代码来自于《TensorFlow自然语言处理》(Natural Language Processing with TensorFlow),作者是Thushan Ganegedara。对了宝贝儿们,卑微小李的公众号【野指针小李】已开通,期待与你一起探讨学术哟~摸摸大!目录0 前言1 数据集准备2 读取数据但不做预处理3 读取数据并做预处理4 创建词典5 定义Skip-gram的batch6 Skip-gram6.1 定义超参数6.2 定义输入与输出的占位符6.3 定义模型参数与其他变量6.4 定.原创 2021-06-18 15:31:25 · 441 阅读 · 3 评论 -
Word2Vec之Hierarchical Softmax与Negative Sampling
对了宝贝儿们,卑微小李的公众号【野指针小李】已开通,期待与你一起探讨学术哟~摸摸大!如果有需要Word2Vec原理与公式推导的同学可以移步:Word2Vec原理与公式详细推导。为了方便大家看参考资料,这里同样重新弄出来:[1]Rong Xin. word2vec Parameter Learning Explained[J]. CoRR, abs/1411.2738, 2014.[2]皮果提.word2vec 中的数学原理详解(四)基于 Hierarchical Softmax 的模原创 2021-05-03 22:04:29 · 620 阅读 · 0 评论 -
Word2Vec原理与公式详细推导
嗯,为了方便大家找到参考资料,我这里重新贴在最下面:[1]皮果提.word2vec中的数学原理详解(二)预备知识[EB/OL]. (2014-07-19)[2021-04-25]. https://blog.csdn.net/itplus/article/details/37969635[2]皮果提.word2vec中的数学原理详解(三)背景知识[EB/OL]. (2014-07-19)[2021-04-25]. https://blog.csdn.net/itplus/article...原创 2021-04-28 18:30:50 · 1807 阅读 · 19 评论 -
中文情感分析任务数据集
1 NLPCC1.1 NLPCC-2012下载网址:http://tcci.ccf.org.cn/conference/2012/pages/page10_dl.html其中有两份文件,推荐下载2012-9-12的数据,比较全。数据格式为xml,数据样式如下:<weibo id="15"> <sentence id="1" opinionated="Y" polarity="NEG" target_word_1="官二代" target_begin_1="1" targe原创 2021-01-15 15:05:59 · 3215 阅读 · 0 评论 -
情感分析学习笔记(2)——SO-PMI算法详解
整个项目是我借鉴了论文的内容一行代码一行代码敲的(除了.scel转为.txt),没有查阅github上面的开源项目等(就是说我自己封装了一个SO-PMI算法),说不定有漏洞或者思考不清晰的地方,如果发现了请麻烦指正。当然在进行计算的时候,我是采用的循环,并没有将数据矩阵化或者向量化(主要是还不清楚怎样矩阵化或者向量化),在运行效率上确实很差。这是我在3400条数据集上跑出来的效果,效果很烂,主要数据集太拉胯了。整个项目的代码除了数据集已开源到了github上,我会在文章后放上链接。该项目算是复现了少.原创 2020-10-12 17:50:09 · 11329 阅读 · 12 评论 -
神经网络学习笔记(1)——神经元与激活函数简介
作为一个第一次了解神经网络的学生来说,这一块基本上就是搬运的网上各个资源的内容,如果后续在使用和学习的过程中有了新的理解和感悟再来做更深入的补充。这一块由于才开始接触理论,就还没有运用代码实现出来,后续撸了代码出来后再补上。最后日常吹3B1B,3B1B永远滴神!目录神经网络简单介绍神经元与激活函数参考神经网络简单介绍由于我的规划是先看神经网络(包括概念与梯度下降),再看word2vec、RNN、LSTM,所以现在也不清楚神经网络放在NLP中是怎样输入输出的,我就以3B1B的栗子来简单讲解下神.原创 2020-09-30 17:39:30 · 2438 阅读 · 0 评论 -
情感分析学习笔记(1)——aspect-term,aspect-category,aspect-opinion,aspect-opinion pair的理解
感觉这一方面网上资源好少……整理一份出来作为学习笔记,方便以后忘记了还有地方可以查看……感谢师兄用他早饭中的鸡蛋给我讲懂了这个问题,摸摸大!昨天看综述《情感分析综述》就正好讲到了这个问题,这篇论文里面写的是“甄别句子中针对不同属性所表达的观点倾向,推出其正面、负面还是中性”,这就是上面的这些内容的概括,有兴趣的朋友可以下载下来阅读下,反正就3页,几分钟就看完了对吧。然后我把师兄说的两句话糅在一起给大家讲解,话如下:这个显卡很烂,但是鸡蛋好吃!aspect-term:aspect-term.原创 2020-09-27 09:41:44 · 2158 阅读 · 3 评论 -
python自然语言处理实战核心技术与算法——基于PCFG的中文句法分析实战
在本书中这一篇章就写的略显单薄,不过作者也说明了,本书是NLP入门实践书籍,句法分析又属于NLP中较为高阶的问题,所以并没有深入讲解,我学习本书也是入门NLP,学习完本书后会学习《统计自然语言处理》。由于本章实战内容很少,而且也没有特别晦涩的代码,所以在本文中更多的是讲解windows配置等问题。目录一、JDK安装与配置二、PCFG文件下载三、代码四、总结五、参考一、JDK安装与配置因为stanford parser是基于统计概率句法分析的一个java实现,所以需要安装JDK,JDK下载链接在这.原创 2020-08-06 14:53:57 · 2997 阅读 · 0 评论 -
python自然语言处理实战核心技术与算法——命名实体识别实战一:日期识别代码详解(二)
这里是《python自然语言处理实战核心技术与算法》——命名实体识别实战一:日期识别的第二部分,上一部分的文章链接点击这里。目录一、parse_datetime(msg)1. try2. except二、预定义模板三、year2dig(year)四、cn2dig(src)五、总结六、总体代码与结果展示七、参考一、parse_datetime(msg)def parse_datetime(msg): """ 将每个提取到的文本日期串进行时间转换 实现方式: .原创 2020-07-21 10:38:41 · 1756 阅读 · 0 评论 -
python自然语言处理实战核心技术与算法——命名实体识别实战一:日期识别代码详解(一)
由于之前发布了HMM模型的详细代码讲解,但是一万二千字的内容大家看着也头皮发麻,所以在写这个日期识别的时候我分为几篇文章进行讲解,这样就能用更多的图例来描绘代码的运转过程,也能方便大家更好的阅读。目录零、命名实体识别(NER)一、说明二、time_extract(text)1. 代码流程2. 代码逻辑3. 优化问题3.1 代码优化3.2 规则优化三、check_time_valid(word)四、总结五、参考零、命名实体识别(NER)命名实体识别(Named Entities Recognitio.原创 2020-07-21 08:53:19 · 2326 阅读 · 2 评论 -
python自然语言处理实战核心技术与算法——HMM模型代码详解
本人初学NLP,当我看着书上这接近200行的代码看着有点头皮发麻,于是我读了接近一天基本把每行代码的含义给读的个七七八八,考虑到可能会有人和我一样有点迷茫,所以写下这篇文章与大家分享。一、HMM模型与Viterbi算法1. HMM模型HMM模型的核心是:从可观察的参数中确定该过程的隐含参数。在本例子中,可观察的参数是句子或者说每个字,隐含参数是每个字的标签。这里还要提到韩梅梅模型的两个假设:观测独立性假设:每个字的输出仅仅与当前字有关;即:当然,从概率论的公式也可以推导出,这些事件都.原创 2020-07-10 15:40:08 · 2358 阅读 · 2 评论 -
python自然语言处理实战核心技术与算法——双向最大匹配法
本人初学nlp,使用的是机械工业出版社的《python自然语言处理实战核心技术与算法》,学习到了双向最大匹配法,于是写下这篇文章记录一下整个代码的工作原理以及相应的理解。目录一、匹配切分二、算法代码及详谈1. 正向最大匹配法2. 逆向最大匹配法3.双向最大匹配法三、总体代码与结果四、改进方式五、参考一、匹配切分在中文分词技术中的匹配切分输入规则分词方式,这是一种机械分词的方式,我们通过机器词典中的单词与语句中的每个词语进行匹配,如果匹配成功则切分,如果匹配失败则不与切分。在匹配切分中,原则是“长.原创 2020-07-07 10:38:01 · 6611 阅读 · 0 评论