用GPT2和Obsidian搭建了一套写作辅助工具

aryew

已于 2022-12-08 20:31:18 修改

阅读量1k

点赞数

文章标签： python 全文检索 pytorch javascript

于 2022-12-07 21:15:14 首次发布

本文链接：https://blog.csdn.net/aryew/article/details/128227022

版权

序言

当我准备写一首诗，遥想太祖爷写下的“北国风光、千里冰封”，于是乎在屏幕上输入“北国”，然后按下快捷键，等待AI给我带来的惊喜。在人工选择干预的情况下，差不多5分钟，一首诗就跟各位见面了：

北国寒气早，南园芳草微。风亭坐相望，唯见白云飞。
秋风逐画槛，故人今再游。云容流光影，雨色带山丘。

也请诸位评判一下，这首诗如何？
意境撇开不说，总的说来结构没有大问题，对仗也过得去。中间变了韵脚，这个，额？就这样吧。

思路

当然，像清华也推出了九歌这样的AI诗歌系统，但我们今天说的这个工具，和很多自动写诗写文章工具不同的是，这能够根据自己的选择干预、逐步推进、可以按照我们自己的思路往前走的。
AI不是主角，只是你的一个助手而已。他可以找出前人的诗句、文章供你参考；同时给你提供一些候选项作为建议；你可以参考修改，然后他再根据你写的内容再提建议参考。他没有越俎代庖，洋洋洒洒却不是你想要的，而是在你的思路下，帮你理清思路、启发引导。这不就是我们想要的吗？

我的工作

我是OBSIDAN的拥趸，大部分创作类笔记都是拥OB来写的。在几个月之前，突然想，能不能加入类似于程序员写代码的那种代码提示的功能来写作呢？基于什么写作工具做这件事情合适？是word、网页、APP、还是其他？
带着这些问题，在市面上找了一圈，网上的写作助手倒是不少，但是没有让我自己特别满意的。
我对这个工具的定位：

必须是基于一个现有的成熟写作软件来开发，最好带知识管理功能。一篇篇的word适合政府工作，并不适合这件事。
数据即服务。不要让用户自己去找数据建模型，而应该是开箱即用。数据服务部署在服务器，用户只需要有这个软件就OK。当然有条件的人可以进阶自己倒腾。
全文搜索和代码提示两个重要功能是基础。解决我认为的写作两大痛点：参考材料和大脑缺氧。
于是我就开始了尝试，首先，解决数据服务问题。毕竟python和深度学习都有所了解，选定技术路线后，whoosh作为全文检索、用GPT2做提示模型，数据服务搭建难度倒不算大。
其次，因为我对python用的比较熟，发现sublimetext支持python开发，于是开发了一个简单的sublimetext插件。后来对比了word、wps等软件之后，确定了开放性比较好的OBSIDIAN。无奈实在不会Typescript，从头来没戏；幸好很多优秀的插件都可以学习，在这里非常感谢开源社区github。

结果

经过七七四十九难，第一个release版本磕磕碰碰的出来了，也发到了github。这中间经历过很多问题，比如朋友支持的腾讯云服务器，跑4个模型加全文检索，性能难以维持；连续按hotkey会给系统疯狂发请求，导致阻塞；模型占用空间太大、模型运行效率太低等等。花了很多时间去处理这些问题，还有很多问题没有较好的解决方案。
总的来说，这个插件我自己是比较满意的，至少我可以一周写首诗发个朋友圈，收获一波star。当然，如果你们觉得满意的化，也希望你们也给github的这个项目点亮你的star。
目前，我放出来了几个模型，英文的、写党建文章的、写工作报告的、写诗词歌赋的，同时也把腾讯最近吹牛的那个welm也集成进来了（welm模型需要申请腾讯的token才能使用）。