基于预训练模型的多标签专利分类研究

最新推荐文章于 2024-08-09 09:30:34 发布
最新推荐文章于 2024-08-09 09:30:34 发布
阅读量394 收藏 2
点赞数
分类专栏： 信息技术控制系统和理论专栏 文章标签： 分类 机器学习 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_70923796/article/details/126006651
版权
本文构建了大规模中文专利数据集CNPatents，使用BERT、RoBERTa和RBT3模型进行多标签专利分类研究。通过高频标签筛选，模型在CNPatents-Small数据集上的准确率提升至0.912，Micro-F1值提升至0.696，提高了多标签专利分类效果。
摘要由CSDN通过智能技术生成

摘要

【目的】 提高专利自动分类效果,准确地为专利申请书匹配适合的一个或多个IPC分类号。【方法】 构建了大规模中文专利数据集（CNPatents）,选取IPC分类号中的前4位作为分类标签,使用

了解本专栏 订阅专栏 解锁全文 超级会员免费看
米朵儿技术屋
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
【层级多标签文本分类】基于预训练语言模型的BERT-CNN多层级专利分类研究
wuli_乖
06-30 2290
专利分类作为文本分类中的一个垂直领域，标签有多层级、多标签的特点，不像做新闻分类、情感分类很多时候标签单一、且简单、都是自定义的。所以专利分类写论文更有“点”可写。
基于BiLSTM_ATT_CNN中文专利文本分类
05-06
随着大数据和人工智能的发展, 将人工处理专利的方式转换为自动化处理成为可能. 本文结合卷积神经网络(CNN)提取局部特征和双向长短记忆神经网络(BiLSTM)序列化提取全局特征的优势, 在BiLSTM隐藏层引入注意力机制(Attention机制), 提出了针对中文专利文本数据的BiLSTM_ATT_CNN组合模型. 通过设计多组对比实验, 验证了BiLSTM_ATT_CNN组合模型提升了中文专利文本分类的准确率.
基于预训练模型的多标签专利分类研究.docx
06-24
基于预训练模型的多标签专利分类研究.docx
【专利练习4】深度学习模型用于专利分类
weixin_40064136的博客
08-05 1302
深度学习模型用于专利分类 仍然是对专利分类代码的学习 https://github.com/newzhoujian/LCASPatentClassification 深度学习模型（七个） Word2Vec+ANN.py（人工神经网络） Word2Vec+ATT.py Word2Vec+GRU.py Word2Vec+BiGRU.py Word2Vec+TextCNN.py Word2Vec+BiG...
【专利练习3】用传统机器学习方法进行专利分类（TFIDF+LR:DT:RF）
weixin_40064136的博客
02-01 819
用传统机器学习方法进行专利分类（TFIDF+LR:DT:RF） 代码出自：https://github.com/newzhoujian/LCASPatentClassification/tree/master 本博客对该代码进行一个学习把并记录 数据预处理 好像只有去停用词以及一些格式转化，详见代码 训练tfidf模型 TfidfVectorizer可以把原始文本转化为tf-idf的特征矩阵 fr...
BERT压缩
Neways的博客
12-11 319
BERT压缩之前的压缩方法三层BERT：哈工大WWM_RBT3 之前的压缩方法 三层BERT：哈工大WWM_RBT3 Whole Word Masking (wwm)是BERT的一个掩码改进版本。原先的掩码是随机将token掩盖（80%替换为[MASK]，10%替换别的词，10%不处理），但是一个词根据wordpiece可能拆分成多个token,掩码可能不会将这个词全部隐藏。因此，推出了全掩码，即将命中token的整个单词掩藏，作者认为这样会易于预测。 哈工大WWM正式在此基础上提出对中文的掩码。中文不存在
使用keras-bert进行中文文本分类+Google colab运行源码
earofreceiver的博客
03-21 4974
前文介绍了BERT的原理。在实际应用中，BERT要比其理论本身要简单的多。这里我们利用Github的中文BERT预训练的结果（地址），进行实际的文档分类。 数据集 为了便于进行比较，文档分类的数据集来自Github的这个地址。该数据集使用了THUCNews的一个子集，使用了其中的10个分类，每个分类6500条数据。 类别如下： 体育, 财经, 房产, 家居, 教育, 科技, 时尚, 时政, 游戏,...
基于预训练模型的中文古文分类.zip
01-07
本项目“基于预训练模型的中文古文分类”专注于利用这些先进的技术来对古代汉语文献进行有效的分类，这在学术研究、历史文献整理以及教育资源开发等方面具有极大的价值。 首先，我们要理解什么是预训练模型。预训练...
基于Bert 预训练模型的美团评价多标签多分类任务.zip
01-07
classification reporter precision recall f1-score support micro-avg 0.88 0.85 0.87 300000 macro-avg 0.70 0.59 0.61 300000 weighted-avg 0.87 0.85 0.86 300000 samples-avg 0.88 0.85 0.87 300000
自然语言处理-基于预训练模型的方法-笔记
09-01
《自然语言处理-基于预训练模型的方法》是一本深入探讨NLP领域中预训练模型的著作，由车万翔、郭江、崔一鸣合著。该书详细介绍了预训练模型在自然语言处理中的重要性和广泛应用，涵盖了从基础知识到前沿技术的多个...
Chinese-BERT-wwm：汉语BERT的全字掩蔽预训练（EnglishBERT-wwm系列模型）
02-03
| 在自然语言处理领域中，预训练语言模型（预训练语言模型）已成为非常重要的基础技术。为了进一步促进中文信息处理的研究发展，我们发布了基于全词遮罩（Whole Word Masking）技术的中文预训练模型BERT-wwm，以及更多技术相关的模型：BERT-wwm-ext，RoBERTa-wwm-ext，RoBERTa-wwm-ext-large，RBT3，RBTL3。 崔一鸣，车万祥，刘婷，秦兵，杨自清，王世进，胡国平 本项目基于谷歌官方BERT： : 其他相关资源： MacBERT预训练模型： : 中文ELECTRA预训练模型： : 中文XLNet预训练模型： : 知识蒸馏工具TextBrewer： : 查看更多哈工大讯飞联合实验室（HFL）发布的资源： : 新闻 2021年1月27日所有模型已支持TensorFlow 2，请通过变压器库进行调用或下载。 2020/9/15我们的论文被录用为长文。 2020/8/27哈工大讯飞联合实验室在通用自然语言理解评论GLUE中荣登榜首，查看，。 2020/3/23本目录发布的模型已接收 ，查看 2020/3/11
基于中文 GPT2 预训练模型的文本分类微调.zip
01-07
在本项目中，你将利用基于中文GPT2的预训练模型进行文本分类任务的微调。这是一个在自然语言处理（NLP）领域常见的应用场景，它涉及到深度学习、自然语言理解和机器学习等技术。让我们详细了解一下相关的知识点。 1...
调用resnet预训练模型进行图片分类.zip
01-07
本项目以"调用resnet预训练模型进行图片分类"为主题，旨在利用已经训练好的ResNet模型对图像进行分类。我们将详细介绍ResNet模型的原理、预训练模型的概念以及如何在PyTorch框架中实现图片分类。 1. **ResNet模型...
基于Huggingface transformers 库的预训练语言模型分类体系及实战课程（一）
chengjinpei的博客
09-12 2942
一图了解预训练语言模型 最近在学习的过程中发现一本书总结的预训练语言模型的分类体系挺不错的，分享给大家。 预训练语言模型的发展及意义（待更新）
使用BERT模型进行多标签分类
卡布达
12-26 7034
1、改造BERT模型 首先，多标签分类就是将单输出改为多输出，最原始的想法是训练多个分类模型，每个模型预测不同的输出，比如，在预测顾客对饭店的评价中，第一个模型预测口感如何，第二模型预测交通是否方便，尽管会浪费时间、存储和计算资源，问题好像也解决了。但是，看了一些其他多标签的任务后发现还有问题，比如：碰到第二个标签是依赖第一个标签的情况就不好说了，比如第一个标签预测饭店很好，第二个标签预测为不推荐...
常用的中文预训练模型、预训练词向量下载地址收藏
u012744245的博客
03-09 7543
中文预训练模型下载 原版：https://huggingface.co/models Google原版bert：https://github.com/google-research/bert 中文XLNET预训练模型：https://github.com/ymcui/Chinese-XLNet （只有TensorFlow需转化） or https://huggingface.co/hfl/chinese-xlnet-base/tree/main (pytorch版本需下载)可参照：https://www
PyFluent入门之旅（8） PyFluent API 分类与区别
最新发布
08-09 796
通过这两种接口方式，可以控制 Ansys Fluent 的各个方面，包括从网格生成到后处理的所有操作。
24/8/8算法笔记 不同分类算法的差异
yyyy2711的博客
08-08 405
回归模型中，就线性回归可以表示重要性的大小。
机器学习·L3W2-协同过滤
2301_80132162的博客
08-08 1197
推荐算法可以预测用户评分，并根据评分推荐数据。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

米朵儿技术屋

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值