![](https://img-blog.csdnimg.cn/20190918140158853.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
自然语言处理
自然语言处理是研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。
西笑生
西笑生
展开
-
入自然语言处理的门中在本地使用huggingface的模型
入自然语言处理的门中在本地使用huggingface的模型flyfish模型下载地址在此文章中我们想实现这样的一个功能,看图巴黎是[MASK]国的首都。我们需要模型自动填空。本地加载模型from transformers import pipelinepath="/media/huggingface/bert-base-chinese/"unmasker = pipeline('fill-mask', model=path)print(unmasker("巴黎是[MASK]国的首都。")原创 2020-09-07 18:45:32 · 2966 阅读 · 0 评论 -
入自然语言处理的门实践中文版的情感分析
入自然语言处理的门实践中文版的情感分析flyfish需要训练的数据集我们现有的数据集是weibo_senti_100k 10 万多条,带情感标注 新浪微博,正负向评论约各 5 万条。数据格式如下下载地址是https://github.com/SophonPlus/ChineseNlpCorpus我们通过huggingface中的使用方法使用微博数据集对模型bert-base-chinese进行微调。原数据集格式参考下载glue_data.zip(可以不下载,只是用来做我们自己数据集的原创 2020-09-09 19:29:11 · 1058 阅读 · 0 评论 -
入自然语言处理的门实现情感倾向分析
入自然语言处理的门实现情感倾向分析原创 2020-09-08 18:57:44 · 419 阅读 · 0 评论 -
入自然语言处理的门实现两个句子在语义上是否相同
入自然语言处理的门实现两个句子在语义上是否相同flyfish一个使用模型进行序列分类的示例,以确定两个序列是否互为转述或者解释。代码实现from transformers import AutoTokenizer, AutoModelForSequenceClassificationimport torchtokenizer = AutoTokenizer.from_pretrained("bert-base-cased-finetuned-mrpc")model = AutoModelFo原创 2020-09-08 19:04:33 · 802 阅读 · 0 评论 -
入自然语言处理的门以huggingface的transformers方式
以huggingface的transformers方式入自然语言处理的门flyfish目的最好有个示例,给我代码和模型,一行代码也不写,只一行命令执行看结果,到底是个什么样子,然后再分析。文本就实现了,模型下载有困难?文末网盘伺候,包含TensorFlow和 PyTorch的模型,有的示例需要使用数据集,网盘里也有,免的到处找,提供模型很多慢慢下载。如果您想要以下功能1、文本生成我说一句话,程序自动补充下一句或者自动生成一大段话。2、填空一句话,少了词,程序自动补上。3、文本分类哪些文原创 2020-09-04 20:35:17 · 2036 阅读 · 0 评论 -
入自然语言处理的门实现命名实体识别
入自然语言处理的门实现命名实体识别flyfish为文本中的每个词汇赋予一个词性的过程叫命名实体识别(Named Entity Recognition) 简称NER代码实现from transformers import pipelinetoken = pipeline('ner', model="vblagoje/bert-english-uncased-finetuned-pos")print(token("My name is Santiago and I live in JiNan.")原创 2020-09-08 18:59:29 · 411 阅读 · 0 评论