结构之法 算法之道

自从我司于23年7月开始涉足论文审稿领域之后，在业界的影响力越来越大，所以身边朋友如发现业界有相似的工作，一般都会第一时间发给我，比如本部分要介绍的康奈尔大学的reviewer2当然，我自己也会各种看类似工作的论文，毕竟同行之间的工作一定会互相借鉴的，我们会学他们，他们看到我们的工作后自然也会受到不小的启发，而在大模型时代一个技术人保持竞争力的最佳方式就两点：保持对最新技术/paper的跟踪，每天各种大量实践/折腾/实验。

对本博客比较熟悉的朋友知道，我司论文项目组正在基于大模型做论文的审稿(含CS英文论文审稿、和金融中文论文审稿)、翻译，且除了审稿翻译之外，我们还将继续做润色/修订、idea提炼(包含论文检索)，是一个大的系统，包含完整的链路由于论文项目组已壮大到18人，故目前在并行多个事，且我也针对idea提炼做一下技术探索，本文解析关于idea提炼的两篇论文。

当我们3月下旬微调完mixtral 8x7B之后，下一个想微调的就是llama2 70B因为之前积攒了不少微调代码和微调经验，所以3月底apple便通过5K的paper-review数据集成功微调llama2 70B，但过程中也费了不少劲考虑到最后的成功固然令人欣喜，但真正让一个人或一个团队快速涨经验的还是那些在训练过程中走过的踩过的各种坑以及走过的各种弯路，所以本文第一部分我会把apple在训练中的遇到各种报错信息而一步步debug、或各种搜Google、搜GitHub的过程都整理出来。

如本文开头所说，当我们把各种模型都微调一遍之后，发现最终还是得回归到数据上，其中一个便是提高review的质量在我们之前的一系列工作中，我们针对一篇篇论文的多个review做多聚一，且摘要出多个要点，从而，一篇paper 一条review，最后，就可以弄成qa对 去微调开源模型而之前5k 15k条paper-review数据对中的review，就是根据旧prompt 通过GPT3.5 16K摘要出来的，但之前的旧prompt 比较简单，就4个点重要性和新颖性可能被接收的原因可能被拒绝的原因。

解决方案：训练时使用了--quantization_bit 4 和 --flash_attn True，这里也要使用统一的才行。有些得单独版本对齐，本人使用的是cuda11.8。更多见七月的《大模型商用项目审稿GPT微调实战》推理所需显存为34318MiB。

我司由于一直在迭代论文审稿GPT，所以每个星期都在关注各大公司和科研机构推出的最新技术、最新模型而Google作为曾经的AI老大，我司自然紧密关注，所以当Google总算开源了一个gemma 7b，我当即表示必须支持一下，即用我司的paper-review数据集微调试下此外，去年Mistral instruct 0.1因为各种原因导致没跑成功时，我总感觉Mistral应该没那么拉胯，总感觉得多实验几次，​所以打算再次尝试下Mistral instruct 0.2。

ChatPaper的自身定位是全流程加速科研：论文总结+专业级翻译+润色+审稿+审稿回复，因为论文更多是PDF的格式，故针对PDF的对话、总结、翻译，便不可避免的涉及到PDF的解析功能：将BeautifulSoup对象转换为JSON格式的字典，类似于某些开源项目的输出主要步骤：提取文章的标题、作者、发布日期、摘要、部分、引用、图形和公式返回一个包含所有这些信息的字典"""将BeautifulSoup对象转换为JSON格式的函数。

下半年以来，我全力推动我司大模型项目团队的组建，我虽兼管整个项目团队，但为了并行多个项目，最终分成了三个项目组，每个项目都有一个项目负责人，分别为霍哥、阿荀、朝阳，有何问题 欢迎随时留言评论，thanks了解几种外推方案做了什么然后再顺着苏剑林文章的思路来看为什么这样做但总觉得不够深刻moe我有了解过GLaM，Mistral那边的没了解过打算了解下，估计也大差不差。

23年12月9日，Mistral AI 在 X 平台甩出一条磁力链接，打开一看，发现是接近 87 GB 的种子看上去，Mistral 8x7B的架构此前传闻的GPT-4架构非常相似(很像传闻中GPT-4的同款方案)，但是「缩小版」：8 个专家总数，而不是 16 名(减少一半)每个专家为 7B 参数，而不是 166B(减少 24 倍)42B 总参数（估计）而不是 1.8T(减少 42 倍)与原始 GPT-4 相同的 32K 上下文。

本文一开始是《七月论文审稿GPT第2版：从Meta Nougat、GPT4审稿到Mistral、LongLora Llama》中4.3节的内容，但一方面考虑到LongLora的实用性，二方面为了把LongLora和LongQLora更好的写清楚，故把这部分的内容抽取出来独立成本文。

我司自去年7月份成立大模型项目团队以来，至今已有5个项目组，其中所有项目均为会对外上线发布的商用项目，而论文审稿GPT至今在过去的半年已经迭代两个版本，其中第二版的效果甚至超过了GPT4(详见《)，为了持续累积与原始GPT4的优势，我们如今正在迭代第2.5版本：包括对GPT3.5 turbo 16K的微调以及llama2 13B的微调，本文也因此而成。

如此前这篇文章《》中的第三部分所述，对于论文的摘要/总结、对话、翻译、语法检查而言，市面上的学术论文GPT的效果虽暂未有多好，可至少还过得去，而如果涉及到论文的修订/审稿，则市面上已有的学术论文GPT的效果则大打折扣。原因在哪呢？

总之，够未来半年忙了。为加快这个事情的进度，本文解读两个关于学术论文的GPT(因为我司每周都有好几个或为申博、或为评职称、或为毕业而报名论文1V1发表辅导的，比如中文期刊、EI会议、ei期刊/SCI等等，所以对这个方向一直都是高度关注，我司也在做类似的LLM产品，敬请期待)之前7月中旬，我曾在微博上说准备做“20个LLM大型项目的源码解读”针对这个事，目前的最新情况是。