自然语言处理
自然语言处理是研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。
二分掌柜的
二分掌柜的
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
入自然语言处理的门中在本地使用huggingface的模型
入自然语言处理的门中在本地使用huggingface的模型 flyfish 模型下载地址在此文章中 我们想实现这样的一个功能,看图 巴黎是[MASK]国的首都。我们需要模型自动填空。 本地加载模型 from transformers import pipeline path="/media/huggingface/bert-base-chinese/" unmasker = pipeline('fill-mask', model=path) print(unmasker("巴黎是[MASK]国的首都。")原创 2020-09-07 18:45:32 · 3756 阅读 · 0 评论 -
入自然语言处理的门实践中文版的情感分析
入自然语言处理的门实践中文版的情感分析 flyfish 需要训练的数据集 我们现有的数据集是 weibo_senti_100k 10 万多条,带情感标注 新浪微博,正负向评论约各 5 万条。 数据格式如下 下载地址是 https://github.com/SophonPlus/ChineseNlpCorpus 我们通过huggingface中的使用方法使用微博数据集对模型bert-base-chinese进行微调。 原数据集格式参考 下载glue_data.zip(可以不下载,只是用来做我们自己数据集的原创 2020-09-09 19:29:11 · 1347 阅读 · 0 评论 -
入自然语言处理的门实现情感倾向分析
入自然语言处理的门实现情感倾向分析原创 2020-09-08 18:57:44 · 694 阅读 · 0 评论 -
入自然语言处理的门实现两个句子在语义上是否相同
入自然语言处理的门实现两个句子在语义上是否相同 flyfish 一个使用模型进行序列分类的示例,以确定两个序列是否互为转述或者解释。 代码实现 from transformers import AutoTokenizer, AutoModelForSequenceClassification import torch tokenizer = AutoTokenizer.from_pretrained("bert-base-cased-finetuned-mrpc") model = AutoModelFo原创 2020-09-08 19:04:33 · 1929 阅读 · 0 评论 -
入自然语言处理的门以huggingface的transformers方式
以huggingface的transformers方式入自然语言处理的门 flyfish 目的 最好有个示例,给我代码和模型,一行代码也不写,只一行命令执行看结果,到底是个什么样子,然后再分析。 文本就实现了,模型下载有困难?文末网盘伺候,包含TensorFlow和 PyTorch的模型,有的示例需要使用数据集,网盘里也有,免的到处找,提供模型很多慢慢下载。 如果您想要以下功能 1、文本生成 我说一句话,程序自动补充下一句或者自动生成一大段话。 2、填空 一句话,少了词,程序自动补上。 3、文本分类 哪些文原创 2020-09-04 20:35:17 · 2551 阅读 · 0 评论 -
入自然语言处理的门实现命名实体识别
入自然语言处理的门实现命名实体识别 flyfish 为文本中的每个词汇赋予一个词性的过程叫命名实体识别(Named Entity Recognition) 简称NER 代码实现 from transformers import pipeline token = pipeline('ner', model="vblagoje/bert-english-uncased-finetuned-pos") print(token("My name is Santiago and I live in JiNan.")原创 2020-09-08 18:59:29 · 566 阅读 · 0 评论
分享