- 博客(18)
- 收藏
- 关注
RSS订阅原创 基于规则嵌入的论文比对系统（16）-有规则嵌入的模型和无规则嵌入的模型的比较
无规则模型搭建为了将有规则的模型和无规则的模型的效果进行比较，所以又搭建了一个无规则的模型。其实就是在原来的有规则的模型的基础上把规则嵌入部分的输入去掉了。class MyModel_noRule(): def __init__(self, batch_size=None, num_epochs=None, word_index=None,embedword_matrix=None, subId=None, index_pad_array_first=None
2020-06-28 16:14:52
191
原创 基于规则嵌入的论文比对系统（15）-重新生成训练集
重新生成训练集说明项目调整的几个方面（写的比较简略）我主要负责重新生成训练集，在搭建一个无规则嵌入的模型的部分思路代码遇到问题说明在和老师交流讨论之后，我们又发现了我们整个项目还存在一些不足之处，所以这两天又在原来的基础上做了一些调整。项目调整的几个方面（写的比较简略）两个规则（全局的keywords+局部的提取的keywords）的修改，之前只是简单的计算杰卡德相似度，现在要改成语义相关的loss函数修改可视化-子空间sentence的highlight规则嵌入的模型和无规则嵌入的模型的比
2020-06-28 15:49:53
141
原创 基于规则嵌入的论文比对系统（14）-模型最终整合+文件结构说明
模型完善规则函数整理简单说明代码规则函数整理简单说明另外三个同学分别负责的三个规则（①ccs分类形似度 ②refference相似度 ③子空间sentence关键词相似度）+④我自己补充的关于keywords的杰卡德相似度，将这四部分的函数实现都放在一个rules.py文件里，参数都是两篇论文的paper_Id（③的参数还有一个0-4的子空间Id值的选择）,返回值均为相似度值代码这里就不再展示了，四个规则函数在我之前的博客，以及我的另外三位队友的博客里都有详细解释说明。我所作的工作就是把他们整合起
2020-06-25 18:19:47
110
原创 基于规则嵌入的论文比对系统（13）-解决预测速度过慢的问题（优化）
预测速度问题方案一方案二现在有一个很大的问题就是对输入数据的测试时间的问题，如果输入的论文list非常长的话，运行时间会很长，时间比较长的地方主要在于测试数据的可视化的部分，模型预测的部分其实是很快的，所以以下展示一下解决这个问题的过程。方案一方案一的思路就是将所有数据的序列化都事先处理好存起来，但是这个方法很容易报memmoryerror问题，运行时间非常之长，加上硬件条件等客观因素，这个方案就放弃了，但如果客观条件足够的话，应该可行的。import numpy as npimport sys
2020-06-23 11:55:10
168
原创 基于规则嵌入的论文比对系统（12）-添加命令行参数
添加命令行参数在模型预测的那个文件里写了一下命令行参数的控制部分在模型预测的那个文件里写了一下命令行参数的控制部分但是貌似后面没有用到import sysprint ('参数列表:', str(sys.argv))argv_list=sys.argv#第一个参数是：模型路径 第二个参数是：paperId的list 第三个参数是：子空间编号modelname=argv_list[1]PaperIdList=eval(argv_list[2])subId=int(argv_list[
2020-06-23 08:55:58
102
原创 基于规则嵌入的论文比对系统（11）-预测输入数据处理+模型完善
模型完善+预测输入数据处理模型完善规则部分的处理模型prediction预测的输入数据的处理根据输入的两篇论文的paperId，以及选择的子空间，输出两篇论文的子空间的序列化表示模型完善规则部分的处理这里写了一个函数，就是通过调用其他几位同学对规则的处理的函数，输入是两篇论文的paperId,输出是规则的list。def rulesEmbbeding(firstId,secondId): firstRule=referenceJaccard(firstId,secondId) sec
2020-06-22 21:17:08
190
原创 基于规则嵌入的论文比对系统（9）-代码模块化
代码模块化：因为前期代码写的比较乱，所以这里为了便于后面的维护以及各种功能函数的调用，对代码进行一下整理。
2020-06-19 18:05:30
117
原创 基于规则嵌入的论文比对系统（2) -任务规划
这篇博客主要介绍一下具体地任务分配的工作。因为前期对于任务量的估算可能不太准确，所以后期会根据每位队员的任务完成情况进行调整。
2020-06-12 16:14:35
165
原创 基于规则嵌入的论文比对系统（1）-项目介绍
基于规则嵌入的论文比对系统（1）项目介绍项目目标项目背景技术创新工作内容预期成果项目介绍项目目标该系统可以对论文集合（比如某个会议某年发表的论文）进行比对，输出相似的论文对集合。项目背景学术论文是用科学语言记录下来的阶段性知识成果，是学术交流的重要方式。论文摘要高度概括了研究背景和问题、创新发现和实验验证等主要内容，是判断论文质量的首要依据。论文检索实际应用中，科研人员为了筛选相关工作，往往从摘要入手关注论文在不同子空间上的相似性，如是否面向相同的研究问题、是否用了相同的技术手段等。针对特定论文集
2020-06-12 15:47:39
188
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人