山东大学软件工程应用与实践----SENTA代码分析（六）

最新推荐文章于 2024-08-26 19:00:00 发布
最新推荐文章于 2024-08-26 19:00:00 发布
阅读量517 收藏
点赞数
文章标签： p2p wpf tv
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_46189653/article/details/121683193
版权

2021SC@SDUSC

接着上篇博客分析

这个文件里写的是 使用ernie的文本类型的field_reader，用户不需要自己分词 处理规则是：自动添加padding,mask,position,task,sentence,并返回length

 

 

 这个文件里写的是 基于ernie的序列标注专用field_reader，处理规则和custom_text_field一样，自动添加padding和mask，并返回length 不同的地方在于ErnieSeqlabelLabelFieldReader会在序列首尾分别添加UNK_ID来占位，以保证和ernie序列化过程中的[CLS]和[SEP]对应

 

使用ernie的文本类型的field_reader，用户不需要自己分词
    处理规则是：自动添加padding,mask,position,task,sentence,并返回length

 

 

最基本的文本(text)类型的field_reader
不需要embedding，不需要mask，只返回原始src_id(添加了padding)和length

 以上就是对这些的讲解分析了，下期继续分析代码

ZeYuyyyy
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
山东大学软件工程应用与实践----SENTA代码分析（十二）
qq_46189653的博客
12-26 813
2021SC@SDUSC 本篇博客就是该系列的最后一篇博客了，我将把前面几篇博客所讲的内容进行整合，梳理一下senta的整体架构和之前分析的几个训练模型 Senta 代码结构 Senta 项目的代码结构以及简介如下， 本文重点介绍如何利用 Fluid Python API 完成模型的构建和训练，关于如何利用Fluid C-API 进行模型的在线部署，可以参考该项目的说明文档。 Senta ├── C-API/ # 模型预测C-API接口 ├── data/ # 数据集 │ ...
山东大学软件工程应用与实践----SENTA代码综述
qq_46189653的博客
09-30 385
2021SC@SDUSC 一：项目地址： Senta: 百度开源的情感分析系统 (gitee.com)https://gitee.com/baidu/Senta 二：项目背景： 近年来，随着AI技术的不断发展，NLP领域的一项重要应用技术——文本情感分析也被越来越多的商业场景运用，在消费决策、舆情分析、个性化推荐等领域均有出众表现！ 百度在情感分析领域开展了深入的技术研发和应用实践。此前，在百度AI开放平台对外开放了评论观点抽取和情感倾向分析服务。近期，还通过Github开放了情感分类开源项目..
山东大学软件工程应用与实践----SENTA代码分析（十一）
qq_46189653的博客
12-25 794
2021SC@SDUSC 这篇文章分析一下senta的模型训练和预测以及其进行 数据准备 数据格式 训练数据格式是制表符分隔值 (tsv) 的格式，每一行代表一条训练数据，以制表符作为分割符分为两个字段。第一个字段是情感倾向，取值为 0 或 1，分别代表消极和积极情感倾向；第二个字段是文本的内容。文本已经经过分词处理，词与词之间用空格分隔。示例训练样本如下： 测试数据以同样的方式进行分隔，但在情感类别标签方面和训练数据有一些差别。测试数据中情感倾向共有三类，取值为 0, 1, 2, 分别代表消极.
山东大学软件工程应用与实践----SENTA代码分析（十）
qq_46189653的博客
12-23 1461
2021SC@SDUSC 这篇代码主要来分析一下senta里用到的bert模型 BERT的全称为Bidirectional Encoder Representation from Transformers，是一个预训练的语言表征模型。它强调了不再像以往一样采用传统的单向语言模型或者把两个单向语言模型进行浅层拼接的方法进行预训练，而是采用新的masked language model（MLM），以致能生成深度的双向语言表征。 该模型有以下主要优点： 1）采用MLM对双向的Transforme.
山东大学软件工程应用与实践----SENTA代码分析（一）
qq_46189653的博客
10-18 152
2021SC@SDUSC 提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 前言 一、pandas是什么？ 二、使用步骤 1.引入库 2.读入数据 总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。 ...
山东大学软件工程应用与实践----SENTA代码分析（二）
qq_46189653的博客
10-28 294
2021SC@SDUSC GitHub中的senta源代码如图所示，分为 cofig配置文件 data数据集 model-files script senta venv虚拟文件 主要的核心代码 在senta 中 先分析senta中common中的代码 regist.py里写的是关于注册的 regist.py代码 rule.py里写的是关于文本的超长截断规则和一些训练评估模型 ...
山东大学软件工程应用与实践----SENTA代码分析（七）
qq_46189653的博客
12-09 229
2021SC@SDUSC 这篇来分析senta模式集这个文件里的代码 首先先来分析这个文件 1.解析input_data的结构 2.解析参数，构造inference 3. 启动data_generator,开始预测 4.回掉预测结果到model中进行解析 :param param: 运行的基本参数设置 :param data_set_reader: 运行的基本参数设置 :param model_class: 使用的是哪个model 这个文件中的代码 前向计算组网部..
山东大学软件工程应用与实践----SENTA代码分析（四）
qq_46189653的博客
11-15 1142
2021SC@SDUSC 今天来分析ERNIE和Roberta两种情感分析模型 领先的语义理解技术与平台文心（ERNIE），依托飞桨打造，集先进的预训练模型、全面的NLP算法集、端到端开发套件和平台化服务于一体，提供一站式NLP开发与服务，让您更简单、高效地定制企业级文本模型 支持的NLP任务 使用动态图模型进行finetune: python3 ./ernie_d/demo/finetune_classifier.py \ --from_pretrained ernie-1.0..
山东大学软件工程应用与实践----SENTA代码分析（八）
qq_46189653的博客
12-14 1155
2021SC@SDUSC 这篇代码接着继续分析 先来分析base-trainer.py这个文件 这个BaseTrainer 类 1.运行环境初始化 2.program初始化 3.计算图网络导入 4.模型参数导入 5.运行(reader) 6.模型导出 :param params: 运行的基本参数设置 :param data_set_reader: 运行的基本参数设置 :param model_class: 使用的是哪个model ...
Senta-master.zip
03-08
《Senta：百度开源情感分析系统的深度解析》 在当今信息爆炸的时代，...通过深入学习Senta的源代码和实践应用，我们可以更好地理解和掌握情感分析的原理，同时也能为我们的项目带来更智能、更人性化的文本处理能力。
server-sent-events-and-websockets:带有服务器发送事件和WebSocket的示例Node.js应用
04-14
在此页面上，您可以在SSE和WebSockets之间切换代码事件。 它将执行相同的操作，但是使用两种不同的技术。 对于SSE，客户端打开到/events端点的连接，服务器保持打开状态 对于WebSockets，使用到...
山东大学软件工程实验报告及作业
02-22
标题中的“山东大学软件工程实验报告及作业”表明这是一份与山东大学计算机科学或软件工程专业相关的学习材料，可能包含学生在课程中完成的实验报告和作业内容。描述中提到的“1.项目是数据库课设做的火车票售票系统...
2021SC@SDUSC-山东大学软件工程与实践-Senta(十一 总结)
Casterrrrrrrr的博客
12-31 628
本篇为软件工程与实践课程SENTA项目分析的最后一篇，对SENTA进行调用并进行总结。 调用代码段： import paddlehub as hub senta = hub.Module(name="senta_bilstm") test_text = [ "这个宾馆比较陈旧了，特价的房间也很一般。总体来说一般", "交通方便；环境很好；服务态度很好 房间较小", "稍微重了点，可能是硬盘大的原故，还要再轻半斤就好了。" , "服务很不错，下次还会来。" , "前
2021SC@SDUSC-山东大学软件工程与实践-Senta(2)
Casterrrrrrrr的博客
11-30 994
Senta中的语义表示模型ERNIE 知识增强的语义表示模型 ERNIE（Enhanced Representation through kNowledge IntEgration）通过对词、实体等语义单元的掩码，使得模型学习完整概念的语义表示。相较于 BERT 学习原始语言信号，ERNIE 直接对先验语义知识单元进行建模，增强了模型语义表示能力。在本次的百度Senta项目中，语义表示模型使用的就是ERNIE。 在本篇以及下一篇代码分析中，我将以ERINIE作为预训练模型进行Fine-tune,使用的数据集
p2p、分布式，区块链笔记:基于IPFS实现的数据库orbitdb笔记
最新发布
ResumeProject的博客
08-26 267
p2p、分布式，区块链笔记:基于IPFS实现的数据库orbitdb笔记，自定义events类型的数据库
WPF简易抽屉
weixin_74338405的博客
08-26 213
Text="系统首页" />
ClickHouse分布式部署搭建单分片二副本集群
wang20010104的博客
08-26 450
搭建单分片二副本集群，使用MergeTree引擎测试数据同步服务器：结构图。
wpf datagrid通过点击单元格 获取行列索引2.0
MaggieWon
08-26 92
【代码】wpf 通过点击单元格 获取行列索引2.0。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值