SDU_yyw-CSDN博客

原创 2022项目实训“异步分布式联邦学习”第14/15/16周报告

这篇博客写在第十六周，也就是答辩的这一周，这时候我们已经完成了所有的单元测试，修复了所有单元错误，并在这时候完成了集成测试，解决了绝大部分的问题，这时候的平台已经是个完成品，可以投入展示了。这时候我将总结这两周多以来的内容，汇总一下我在这两周测试发现的错误以及修复结果。以下将以列表形式呈现单元测试期间发现并解决的问题。以下将以列表形式呈现集成测试期间发现并解决的问题。...

2022-06-12 02:52:32 243 1

原创 2022项目实训“异步分布式联邦学习”第十三周报告

在这一周，我们网站中所有界面的建设已经基本全部完成，登录注册、关于、使用说明等界面均已完成。不过这些界面的设计还有一些内容需要继续优化，也还有一些bug错误等待修复，其中就包括最重要的upload方法。以下阐述本周的工作报告。在这一周，我修复了上一周小组讨论时发现的问题——“刷新”按钮不能回显。这个问题说大不大，不过会让使用者产生对于按钮是否起作用产生困扰，因此我在script脚本部分又填加了这么一段，如此就可以使刷新按在点击之后失焦，再辅以blur方法，使其得以达到回显作用。此外，我还在本周完成了隐

2022-06-03 23:30:09 274

原创 2022项目实训“异步分布式联邦学习”第十二周报告

这一周是我们小组记录的第十二周，在这一周中，前端的界面及其相应的功能已经较大程度地实现了，所有的功能基本框架均已完成。不过仍有许多细枝末节的地方需要完善，也有不少bug留待后续处理，更不必说还有前后端通信的部分需要与界面中的按钮等组件进行绑定。以下是我还是按照惯例，阐述本周的工作以及接下来的工作。由于目前新功能的添加，前端的UI绘制工作压力较大，因此我负责了其中“所有任务”界面，以及该界面的衍生界面“当前任务”界面的绘制，并且为这两个界面均配置了基本的js脚本以保证其与后端的数据通讯。以下是“所有任务列表”

2022-06-03 22:37:41 201

原创 2022项目实训“异步分布式联邦学习”第十，暨第十一周报告

五一一周由于一直在为了可能存在的中期检查做准备，因此新功能开发的进展十分缓慢，大部分精力全部集中于对项目中当前存在的bug进行修复。其中过程十分繁杂而啰嗦，且有相当一部分时间时在修复之前存在的bug的同时提出新的bug，做到后面大家都忘了要对bug修复的情况做出记录，因而干脆跳过了该周的周报撰写。直到下一周才开始重新记录，因此这篇报告看似是第十周报告，实则是5月14日才发布的了。这一点可以在项目的统一周报中看到，因为那一篇周报恰好是轮到我来写的。......

2022-06-03 22:14:51 204

原创 2022项目实训“异步分布式联邦学习”第九周报告

时间流逝，本周已经来到了2022项目实训的第九周。原本以为取消的中期检查疑似要定在本周，因此我们提前了会议时间，做了相当多的准备，讨论了相当多的内容，就等着老师发布中期检查时间以及相关的标准，然后再对当前的项目进行一些微调和优化。然而天有不测风云，本周外界的防疫形势不断恶化，而同学们的心情也随之不断走低。不难想象，在此背景之下老师也没有办法发布中期检查的相关信息。无奈之下，我们只能暂且搁置中期检查的一些安排，继续对当前的项目进行开发和完善，包括添加新的功能，优化其中的算法，设计更美观的UI等等.....当然

2022-05-01 23:59:31 231

原创 2022项目实训“异步分布式联邦学习”第八周报告

原本以为这周才是项目实训的中期检查时间，因此在上一周我们就向指导老师展示了接近于中期的成果，目前的基本功能已经实现，而这一周的工作主要集中于初步实现“异步分布式联邦学习”平台的代码的优化上。而我负责的部分——即前后端通讯部分代码量不算特别多，同时前端的进度压力相对来说比较大，因此我在这周除了搭建前后端通讯的功能以外，还顺便负责了一部分前端UI界面的搭设工作。以下将会汇报本周的工作内容，以及下一周需要完成的工作内容。...

2022-04-24 23:49:31 192

原创 2022项目实训“异步分布式联邦学习”第七周报告

由于时间已经接近项目实训的中期检查时间，因此这一周的工作主要集中于初步实现“异步分布式联邦学习”平台的基础功能的构建。而我负责的部分——即前后端通讯部分代码量不算特别多，同时前端的进度压力相对来说比较大，因此我在这周除了搭建前后端通讯的功能以外，还顺便负责了一部分前端UI界面的搭设工作。以下将会汇报本周的工作内容，以及下一周需要完成的工作内容。...

2022-04-17 23:59:55 1988

原创 2022项目实训“异步分布式联邦学习”第六周报告

由于时间已经接近项目实训的中期检查时间，因此这一周的工作主要集中于初步实现“异步分布式联邦学习”平台的基础功能的构建。而我负责的部分——即前后端通讯部分代码量不算特别多，同时前端的进度压力相对来说比较大，因此我在这周除了搭建前后端通讯的功能以外，还顺便负责了一部分前端UI界面的搭设工作。以下将会汇报本周的工作内容，以及下一周需要完成的工作内容。

2022-04-10 22:10:10 728

原创 2022项目实训“异步分布式联邦学习”第五周报告

一、本周工作进度我在本周的工作进度主要集中于两个技术要点——即Axios和WebSocket。这两种技术方法有着本质上的不同，因而具体实现出来之后的效果也有所不同，下面将会分别展示。1.Axios（Ajax封装）首先要谈的内容是Axios，Axios是一个......

2022-04-03 23:59:44 335

原创 2022项目实训“异步分布式联邦学习”第四周报告

一、本周进度本周由我负责的部分——前后端通信由于需要与前后端开发的同学进行商讨后编辑，而前后端目前的进度都有限，因此本周我完成的工作主要集中于以下两个方面——项目部署和测试不同主机的通信问题。

2022-03-27 22:08:03 1064

原创 2022项目实训“异步分布式联邦学习”第三周报告

零、写在前面由于上周身体抱恙，学校也颇为关注，因此花费了较多时间在养病上，诸多拖欠的事务进度也导致第三周周日未能写下当周报告。所幸亡羊补牢，未为晚也，这篇报告写在第四周周一晚上，用以记录上一周的具体进度以及会议部分内容。...

2022-03-21 22:22:48 603

原创 2022项目实训“异步分布式联邦学习”第二周报告

一、分工细化在本周的具体研发过程中，我们小组对于各自的分工进行了进一步明确和细化。我的工作转变为辅助前端的同时与后端进行交接，具体任务侧重于在前端开发的同时给出前后端数据传输的文档（即api文档），这些文档将有助于专职负责前端的同学与专职负责后端的同学进行交互。不过，由于本周过程中，我们的团队仍处于看论文和源代码的阶段，因此我们的项目尚且没有明确的源代码，有的只是一部分有关前后端通讯以及客户端和服务器之间通讯的测试代码，这部分代码大概率会在后续开发中进行大规模迭代更新，因此暂且不作文档标识。二、

2022-03-13 23:13:50 151

原创 2022项目实训“异步分布式联邦学习”第一周报告

本周是我们小组项目实训“异步分布式联邦学习”的第一周，这一周我们小组在已有分工的情况下，首先对于本次项目基于的技术进行了深入研究，并探究了如何对项目进行架构，从而执行一部分的工作。...

2022-03-06 22:26:11 697

原创 “基于常识知识的推理问题”源代码分析-最后总结

根据前面数周的描述，我们已经对DrFact这个模型有了相当程度的了解。我们不仅通过对其源代码的解析，认识到了这个模型的算法究竟如何，同时也在此过程中了解了许多有关于机器学习、深度学习以及NLP相关的知识。在这次源代码分析中，我将对最后一个源文件进行分析，在这个过程中，我们将会对于DrFact模型完整的流程有一个更加详尽的认知。一、run_drfact.py源文件代码分析这次源代码分析的主体，在于run_drfact.py这个源文件，在这个源文件中，定义了许多类以及方法，其源代码行数也是所有源文件中最

2021-12-26 22:13:01 1011

原创 “基于通用知识的推理问题”源代码分析-模型算法剩余部分2

2021SC@SDUSC在上一周中，我已经对DrFact模型算法的剩余部分做了一定的阐述，接下来需要做的是对最后一部分DrFact模型算法的阐述完成。

2021-12-19 22:31:43 150

原创 “基于通用知识的推理问题”源代码分析-模型算法剩余部分

2021SC@SDUSC有赖于之前数周的描述，我已经将DrFact模型与其他模型之间的联系阐述的比较详尽，因此我将在剩余中描述模型算法的剩余部分。def main(_): """Main fuction.""" with open(FLAGS.dpr_pkl_path, "rb") as reader: doc_vectors = pickle.load(reader) dim = doc_vectors[0][1].shape[0] num_facts = len(do

2021-12-12 23:59:33 1118

原创 “基于常识知识的推理问题”源代码分析-受影响的源代码

2021SC@SDUSC在前几次的源代码分析报告中，我已经对于DrFact的算法的前两步进行了分析。按照顺序，我今天应该首先分析算法的第三步在源代码中是如何实现的。不过，基于前两周中我对于DrFact模型是如何参考了DrKit模型的阐述，我想要在今天着重分析一下剩余的源代码中受到了这些参考影响的源代码。一、input_fns.pyinput_fns.py是DrFact模型中，一个极为重要的源代码模块。在这个源代码模块中存放有多个类，其名分别为Example，InputFeatures，Featu

2021-12-05 23:47:08 409

原创 “基于常识知识的推理问题”源代码分析-总体结构问题2

上一周的源代码分析中，我们已经了解了drfact是如何对语料库进行预处理的。但这一周的源代码分析我不会对具体的源代码进行分析，原因在于我在本周进行源代码分析时，注意到了drfact模型对其他模型进行了一定程度的借鉴，因此体现在源代码之中也就不再是仅仅只要关注到drfact这一个项目包即可，而是需要对整个OpenCSR项目的其他源代码也进行审视。某种意义上，我对OpenCSR这个项目源代码的核心产生了一定程度的错判，这也意味着我需要花上更多的力气对这个项目进行更深层次的理解。因此，在我对源代码的整体结..

2021-11-28 23:58:47 674

原创 “基于常识知识的推理问题”源代码分析-总体结构问题

上一周的源代码分析中，我们已经了解了drfact是如何对语料库进行预处理的。但这一周的源代码分析我不会对具体的源代码进行分析，原因在于我在本周进行源代码分析时，注意到了drfact模型对其他模型进行了一定程度的借鉴，因此体现在源代码之中也就不再是仅仅只要关注到drfact这一个项目包即可，而是需要对整个OpenCSR项目的其他源代码也进行审视。某种意义上，我对OpenCSR这个项目源代码的核心产生了一定程度的错判，这也意味着我需要花上更多的力气对这个项目进行更深层次的理解。因此，在我对源代码的整体结..

2021-11-21 23:40:47 413

原创 “基于常识知识的推理问题”源代码分析-convert脚本

本次源代码分析的工作集中在convert脚本源码分析上。在DrFact模型中，共有两个convert脚本，一个是convert_add_links.py，另一个则是convert_dpr_index.py。以下是对于这两个convert脚本的源码分析。一、conert_add_links.py脚本源码分析convert_add_links.py的功能是将命令行上输入的两个目标路径进行处理。具体结果是将第一个目标路径上的文件内容进行拆分组合，生成一个字典，然后将其python字典数据结构内容转化为一个

2021-11-14 23:50:07 793

原创 “基于常识知识的推理问题”源代码分析-迭代得到新事实集合

2021SC@SDUSC这次源代码分析的内容是在概述中提到的模型算法的第二步，即对事实集合进行Fact-Follow迭代，从而得到新的事实集合，然后再根据新生成的事实集合，进行Fact-Follow迭代，从而得到新的事实集合，循环往复迭代进行t跳（hop）后，得到最终的事实集合。毫无疑问，这次源代码分析的主要内容便在于何谓Fact-Follow迭代。因此，这次的源代码分析共分为两部分，一部分是对抽象的Fact_Follow迭代算法的详细描述，另一部分则是对DrFact模型的源代码的具体分析。一.

2021-11-07 23:56:20 1113

原创 “基于常识知识的推理问题”源代码分析-初始化事实集合

根据“基于常识知识的推理问题”的第一篇技术报告（暨综述）可知，DrFact模型的第一步需要初始化事实集合——即对q编码，通过最大内积搜索检索和q相关的事实，从这些事实中，选择包含q中的概念的事实作为初始的。由此，我展开这次的源代码分析工作。在这次的源代码分析之前，首先先要对初始化步骤中的一些概念进行一些了解，因此我会在这次源代码分析报告中先对初始化步骤中的概念进行介绍。q和事实矩阵D自然不必多言，在初始化步骤中，最为重要的算法概念即是最大内积搜索，因此在此着重介绍一下最大内积搜索的概念。在介绍完最大..

2021-10-31 23:59:24 207

原创 “基于常识知识的推理问题”源代码分析-语料库预处理

2021SC@SDUSC自从大约半个月之前更换到了新课题——“基于常识知识的推理问题”之后，我就一直在对这一新课题进行摸索。虽然我负责的项目是OpenCSR这一论文项目的源代码解析与运行，但是我还是花了一些时间去稍微了解一下梁同学负责的ACP_CSQA项目，一方面是处于好奇，另一方面也是希望能够起到一些触类旁通的作用。目前来说，虽然不能对我自己负责的项目有所助力，但是我依旧从中收获了不少，在日后的代码解析过程中如果有相关相似的内容或者可以借鉴的地方，我会拿出来讲一讲。接下来讲述这次源代码分析的内容。

2021-10-21 23:59:53 418

SDU_yyw的博客