- 博客(20)
- 收藏
- 关注
原创 【创新实训】问答系统-Question Generation模块-【博客7:问题库后端检索与服务接口】
由于这个项目需要和整体的QA系统进行交互,QG模块预生成问题作为检索的一大重要部分,需要充当后端,为前端提供检索服务。对于已经生成的问题库,我采用Lucene对生成的问题检索,具体来讲,它的输入输出如下:输入:输出:我们采用 User-Client 模式构建前后端的交互。............
2022-06-07 18:38:44
344
2
原创 【创新实训】问答系统-Question Generation模块-【博客6:Q-A pairs有效性过滤】
在前面步骤中,使用问题生成器生成的系列问题可能存在很多无效的问题,此处我将采取Bert对序列进行分类,筛选出无效的生成的问题。
2022-06-07 18:04:12
412
原创 【创新实训】问答系统-Question Generation模块-【博客5:预测生成模块】
前面四篇博客主要探究了QG(Question Generation)任务的基本策略、评价指标;描述了我的初步探索;以及给出了数据处理的方法以及训练模型的构建方法:这一部分主要将“训练好的模型”应用在数据预处理部分得到的教材数据上,期望能够对教材生成一系列问题。为了测试生成的模型的性能,我选取部分测试数据,将其放在my_test.json文件中,其格式和训练数据导入时的格式相同。生成答案的时候,infer.py程序主要完成下面几个步骤:1.加载模型权重;2.构建问题生成器;3.加载预测数据,并对篇章、答
2022-06-07 17:45:28
689
原创 【创新实训】问答系统-Question Generation模块-【博客4:模型架构的搭建与训练过程】
前面三篇博客主要探究了QG(Question Generation)任务的基本策略、评价指标;描述了我的初步探索;以及给出了数据处理的方法:正如前文所提到,我在“‘万创杯’中医药天池大数据竞赛”问题生成赛题的第一名的解决方案的基础上进行适当扩展。包的导入和相关参数的设置,具体参数尤其是BatchSize部分我结合模型的训练的实际情况做了一定的调整。端到端地实现“篇章 + 答案 → 问题”,使用“NEZHA + UniLM”的方式来构建一个Seq2Seq模型。.........
2022-06-07 17:35:06
801
1
原创 【创新实训】问答系统-Question Generation模块-【博客3:训练数据和预测数据的预处理】
问题生成(Question Generation)是指根据文段内容和期望答案约束自动生成相关问题。本课题旨在针对给定教材文本,生成捕获教材的核心内容的不同难度和不同形式的自然语言问题库。
2022-06-07 16:01:57
1226
原创 【创新实训】问答系统-Question Generation模块-【博客2:评价指标&模型初探】
【创新实训】问答系统-Question Generation模块-【博客2:评价指标&模型初探】
2021-12-27 16:42:33
950
原创 【创新实训】问答系统-Question Generation模块-【博客1:综述】
【创新实训】问答系统-Question Generation模块-【博客1:综述】
2021-12-27 16:37:56
526
原创 【综述】面向特定问题的开源算法管理和推荐(一) | 2021SC@SDUSC
面向特定问题的开源算法的管理和推荐项目背景项目内容和意义问题描述功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入项目背景很多时候,我们希望能够将一个 新版本的代码和开源项目中的代码进行比较。在比较之前,面对行数巨大的源码,寻找特
2021-09-30 21:50:47
211
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人