![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
NLP
文章平均质量分 70
NLP 学习笔记
小田_
这个作者很懒,什么都没留下…
展开
-
句子相似度计算
首先,将输入 传给 transformer 模型,然后使用 在上下文化的单词嵌入之上 应用正确的池操作。这里使用预训练的 nreimers/MiniLM-L6-H384-uncased。如果不使用 sentence-transformers。模型,并在 1B 句对数据集上微调。原创 2023-11-30 20:01:11 · 616 阅读 · 0 评论 -
huggingface - pipeline - translate 记录
【代码】huggingface - pipeline - translate 记录。原创 2023-11-30 19:58:03 · 412 阅读 · 0 评论 -
NLP 面试题
一、动机篇1.1 什么是文本摘要?1.2 文本摘要技术有哪些类型?二、抽取式摘要篇2.1 抽取式摘要是怎么做的?2.1.1 句子重要性评估算法有哪些?2.1.2 基于约束的摘要生成方法有哪些?2.1.3 TextTeaser算法是怎么抽取摘要的?2.1.4 TextRank算法是怎么抽取摘要的?2.2 抽取式摘要的可读性问题是什么?三、压缩式摘要篇3.1 压缩式摘要是怎么做的?四、生成式摘要篇4.1 生成式摘要是怎么做的?转载 2023-11-22 21:14:06 · 115 阅读 · 0 评论 -
hanlp - 识别人名/地名
【代码】hanlp - 识别人名/地名。原创 2023-11-14 16:51:57 · 329 阅读 · 0 评论 -
NLP 对齐 - Microsoft Bilingual Sentence Aligner
文章目录问题基于IBM模型下载地址: https://www.microsoft.com/en-us/download/details.aspx?id=526081、修改 perl 解释器路径问题1、-bash: /Users/user/repos/NLP_repo/bilingual-sentence-aligner/align-sents-all.pl: /usr/bin/perl^M: bad interpreter: No such file or directory根据 ht原创 2021-11-08 17:08:36 · 1020 阅读 · 0 评论 -
n-gram 获取重复词语
文章目录https://www.cnblogs.com/limingqi/p/14159466.html 一文中介绍了使用 n-gram 去重,我的目的没有这么复杂,主要是检测重复即可。本想用 jieba 分词后,counter 出词语出现的次数,但确实没有n-gram,当然 ngram 也相对更耗时。还是写出以下代码:def check(sentence, max_ngram_length=4): final_merge_sent = sentence max_ngram_l原创 2021-08-12 20:26:25 · 510 阅读 · 0 评论 -
DL - LSTM
文章目录LSTM 长短记忆网络如何训练C参数?1、决定丢弃信息2、确定要更新的信息3、更新细胞状态4、输出信息参考资料LSTM 长短记忆网络LSTM 是 RNN 的升级版,应用更广泛。解决的问题:增加控制参数C,保留有价值的信息;C 可以看做一个权重列表:[0, 0.1, 0.8, 1] 舍弃,小部分保留,大部分保留,全部保留。LSTM 的重点是 控制参数怎么更新如何训练C参数?门是一种让信息选择式通过的方法Sigmoid 神经网络层和一乘法操作Sigmoid 公式:g(z)=11原创 2021-05-10 18:51:38 · 179 阅读 · 0 评论 -
NLP - TextRank
文章目录用处:提取关键词、文本摘要优点:运算简单,计算速度快。无监督学习。思想来源于 PageRank从入链和出链来看待网页。沦为 Mihaicea 《TextRank》公式:TextRank类似于PageRank的思想,将文本中的语法单元视作图中的节点,如果两个语法单元存在一定语法关系(例如共现),则这两个语法单元在图中就会有一条边相互连接。通过一定的迭代次数,最终不同的节点会有不同的权重,权重高的语法单元可以作为关键词。参考论文:Rada Mihalcea的《TextRank原创 2021-05-02 12:32:47 · 450 阅读 · 0 评论 -
NLP - 词性标注(tagging)
文章目录词性标注(Part-of-Speech tagging 戒POS tagging),又称 词类标注 或者 简称标注。指为分词结果中的每个单词,确定是名词、动词、形容词戒其他词性的过程。在汉语 中,词性标注比较简单,因为汉语词汇 词性多变 的情况比较少见,大多词语只有一个词性,或者出现频次最高的词性远远高于第二位的词性。 据说,只需选取最高频词性,即可实现80%准确率的中文词性标注程序。(80% 其实不高,没法用)不同的工具词性标注不一定一样,以下是jieba标注:Ag原创 2021-05-01 23:32:09 · 968 阅读 · 0 评论 -
NLP - CRF
文章目录CRF:Conditional Random Field,条件随机场CRF 是一种基于 马尔可夫思想 的统计模型。马尔可夫思想假设:每个状态只与它前面的状态有关。这样的假设有偏差,CRF提出 每个状态 不止与它前面的状态有关,还与它后面的状态有关。一文理解条件随机场CRFhttps://zhuanlan.zhihu.com/p/70067113...原创 2021-05-01 21:07:22 · 180 阅读 · 0 评论 -
NLP - 分词
文章目录分词方法规则分词统计分词混合分词分词方法英文单词天然以空格分隔,汉语对词的构成边界很难进行界定。中文分词方法可归纳为规则分词统计分词混合分词(规则+统计)规则分词人工设立词库,按照一定方式进行匹配切分优点:简单高效缺点:无法处理未录入词库的新词(未登陆词)需要不断维护和更新词典;在切分语句时,将语句的每个字符串 与词表中的每个词 进行逐一匹配,找到则切分,找不到则不予切分。匹配方法:正向最大匹配(Maximum Match),简称为MM法逆向最大匹配,简称为原创 2021-05-01 20:58:13 · 341 阅读 · 0 评论 -
NLP - 语言模型
文章目录语言模型n 元模型(n-gram model)一元模型(unigram model)二元模型(bigram model)三元模型(trigram model)计算n元条件概率语言模型用概率论的专业术语 描述语言模型就是:为长度为m的字符串确定其概率分布 P(ω1,ω2,...,ωm)P(ω_1,ω_2,...,ω_m)P(ω1,ω2,...,ωm)其中ω1ω_1ω1 到 ωmω_mωm 依次表示文本中的各个词语。一般采用链式法则计算其概率值:P(ω1,ω2,...,ωm)=P(原创 2021-05-01 18:30:29 · 234 阅读 · 0 评论 -
NLP - Hanlp
文章目录关于 Hanlp版本开发语言安装使用相关资料关于 Hanlphttps://github.com/hankcs/HanLPhttps://www.hanlp.comHanlp 功能完善、性能高效、架构 清晰、语料时新、可自定义。功能:中文分词 词性标注 命名实体识别 依存句法分析 关键词提取 新词发现 短语提取 自动摘要 文本分类 拼音简繁。(相比之下,jieba 没有依存句法分析)版本开发语言本地开发语言为C++和Python用C++实现基础数据结构(双数组tri原创 2021-05-01 15:32:48 · 1915 阅读 · 0 评论 -
NLP - Standord NLP
文章目录关于 Standord NLP优点安装关于 Standord NLPhttps://stanfordnlp.github.io优点一个集成的语言分析工具集;进行快速,可靠的任意文本分析;整体的高质量的文本分析(分词拿过全球第一名);支持多种主流语言(支持中文);多种编程语言的易用接口(可以使用 python 或 java 调用);方便的简单的部署web服务。功能强大能给出基本的词形、词性识别解析句子结构、自此以来词性分类关系抽取、信息抽取安装1、安装原创 2021-04-30 22:32:55 · 553 阅读 · 1 评论 -
NLP - jieba
文章目录使用词性标注分词https://github.com/fxsjy/jiebahttps://pypi.org/project/jieba/安装pip install jiebacut 后返回的是生成器 generator因为如果返回所有词列表,词数据大时,内存可能占用过大。生成器可以用一个取一个。使用词性标注import jieba.posseg as pseg words = pseg.cut(strings)for word, flag in words:原创 2021-04-28 21:55:06 · 112 阅读 · 0 评论 -
NLP - pyltp / ltp4
文章目录相关资料功能相关资料LTP 官网:http://ltp.ai, http://ltp.ai/docs/index.htmlLTP附录:https://ltp.readthedocs.io/zh_CN/latest/appendix.html#id3pyltp: https://github.com/HIT-SCIR/pyltphttps://pyltp.readthedocs.io/zh_CN/latest/api.html基于Pytorch的LTP4 已经发布,而PyLTP将会只有原创 2021-04-09 09:32:53 · 1369 阅读 · 0 评论 -
NLP - Transformer
文章目录Transformer传统网络的缺点Transformer 结构Self-attention如何计算 self-attentionattention 整体计算流程multi-headed 多头机制multi-headed 结果堆叠多层位置信息表达残差连接归一化Decoder 端mask 机制最终输出结果相关资料TransformerTransformer 完全基于 attention;是一种 seq2seq 模型,有 encoder 和 decoder,很适合做机器翻译;不是RNN,没有循原创 2021-04-09 09:26:08 · 270 阅读 · 0 评论 -
PY - xpinyin
文章目录增删改查本文学习自:https://www.bilibili.com/video/BV14a4y1j7mg?p=16Neo4j 教程:https://www.w3cschool.cn/neo4j/增增加一个节点create (n:Person {name:'我',age:31}) //带有关系属性create (p:Person{name:"张伟",age:"31"})-[:包工程{金额:10000}]->(n:Person{name:"好大哥",age:"35"})原创 2021-04-06 13:59:12 · 146 阅读 · 0 评论 -
NLP - seq2seq
文章目录结构存在的问题AttentionBucket 机制应用机器翻译谷歌翻译做的比较好。还会做目标语言检测。文本摘要情感对话生成代码补全结构如同截获一封电报,敌方编码,我方解码。统计模型的问题:没有上下文信息。RNN 要求输入大小一致。文本数据长度不同,可以补全。特殊符起始符:GO终止符:EOS (end of sentence)存在的问题压缩损失了信息输入长度有限制,在10–20之间,如果过长,如40–50,表达效果会直线下降。以上两个问题,引原创 2021-04-05 10:19:39 · 151 阅读 · 0 评论 -
NLP - 文本向量化
文章目录关于 句法分析发展资料关于 句法分析句法分析的基本任务是:句法结构分析(Syntactic Structure Parsing),也称为短语结构分析(Phrase Structure Parsing);获取整个句子的 句法结构 或者 完全短语结构为目;依存关系分析(Dependency Parsing),获取局部成分为目的发展句法分析已经从句法结构分析转向依存句法分析,原因:1、因为通用数据集Treebank(Universal Dependencies treebanks)的原创 2021-03-29 17:30:47 · 1104 阅读 · 0 评论 -
NLP - 句法分析(Synatic Parse)
文章目录是什么分类统计分析方法数据集是什么英文:parsing句法分析的主要任务是:识别出 句子所包含的 句法成分,以及这些成分之间的关系。句法分析结果一般使用 句法树 来表示。分类根据侧重目标可分为完全句法:获取整个句子的句法结构局部句法: 关注局部的一些成分;如 依存句法分析。句法分析方法可分为:基于规则的方法缺点:处理大规模文本时,存在 语法规则覆盖有限、系统可迁移差的问题。基于统计的方法兴起缘由:大规模标注树库的建立;句法分析器(parser)的性能不断原创 2021-03-29 10:23:42 · 2398 阅读 · 0 评论 -
NLP -关键词提取
文章目录关于关键词提取TF-IDF思想由来用处名词/概念解释缺点TextRankLDALSA/LSIRake特点关于关键词提取关键词提取(Key Word Extraction)主要有以下方法:基于统计:tf-idf, TextRank基于词分布:LDA:采用贝叶斯学派的方法对分布信息拟合LSA/LSI:采用SVD的方法暴力破解Rake、Topic-ModelTF-IDFTF-IDF(注意:这里不是减号)是一种统计方法,用以评估一字词对于一个文件集或一个语料库中的其中一份原创 2021-03-25 23:57:06 · 3663 阅读 · 0 评论 -
NLP 实战 - 商品信息可视化与文本分析
文章目录商品信息可视化与文本处理结果可视化展示运费不同情况的价格变化商品类别类别细分各大主类别分布情况subcat_1类别分布情况品牌名字商品描述名字长短与价格有关吗文本数据处理词云展示tf-idfK-Means聚类LDA模型商品信息可视化与文本处理结果可视化展示启动 notebookjupyter notebook --NotebookApp.iopub_data_rate_limit=1.0e10import nltkimport stringimport reimport numpy原创 2021-03-25 17:31:59 · 2028 阅读 · 10 评论 -
NLP - spaCy 使用
文章目录关于 spaCy安装分词分句词性命名体识别频次统计恐怖袭击分析相关资料关于 spaCy官网:https://spacy.io相比 NLTKspacy 速度更快可以和深度学习结合安装(base) $ python -m spacy download enimport spacy加载英文模型,需要先安装模型 $ sudo python -m spacy download en如果显示 ✘ Couldn't link model to 'en'则注意执行命令前加上 s原创 2021-03-25 11:43:04 · 1071 阅读 · 0 评论 -
NLP - 词法分析
文章目录词干提取 & 词形还原词干提取 stemming自己设计 Porter 词干提取器词形还原(lemmatization)词干提取 & 词形还原相关资料停用词、罕见次过滤停用词 stopwords1、查看停用词停用词过滤罕见词分词、词云jieba关于 jieba特点安装使用分词工具添加自定义词典关键词抽取词性标注词云关于词云一些工具、资料使用一个简单的英文词云生成中文词云相似性度量文本相似字面相似编辑距离1、编辑距离 edit-distance2、最长公共子序列和最长公共子串3、Jac原创 2021-03-25 11:41:02 · 839 阅读 · 0 评论 -
NLP 概览
文章目录关于 NLP发展基本任务自然语言生成 NLG关于 NLP发展萌芽期(1956年以前)贝叶斯方法、隐马尔可夫、最大熵、支持向量机……,主流仍为基于规则的理性主义方法;快速发展期(1980~1999年)基于统计、基于实例和基于规则的语料库技术在这一时期蓬勃发展;突飞猛进期(2000年至今)神经网络与深度学习;基本任务序列标注分词、词性标注、命名体识别文本分类情感分析句子关系判断语义相似判断句子生成机器翻译自然语言理解自然语言生成自原创 2021-03-19 09:45:56 · 838 阅读 · 0 评论