作为一名金融领域的 NLP 从业者,自从 ChatGPT 出来以后,整个人都是处于担心下岗的状态。未来我还能做什么?整个自然语言处理行业会不会消失?
我也想在业务中利用 ChatGPT 的优势,然而整个 ChatGPT 是黑盒的,模型规模巨大,没办法根据业务需求进行定制化的微调,所以很难集成到我现在的工作流程中。而且相关业务数据也不能直接上传到 ChatGPT。
一周之前在朋友圈看到大家转发的港科大开源大模型微调代码库 LMFlow,抱着试试看的想法去体验了一下,发现效果还不错。使用这个工具快一周了,也基于这套代码做了不少的业务场景的开发,慢慢找回了自己未来的定位。总体用起来比较得心应手的,需要修改的代码量较少。今天决定写一篇文章记录一下使用体验。
模型能力初体验
我简单阅读了一下官方 github 的介绍,上面提到 LMFlow 不是一个单一模型,而是支持很多模型的微调框架。在使用项目进行开发之前,我先去体验了一下作者提供的模型。这个项目提供了几种模型体验方案:线上的 web demo、托管在 Google Colab 上的 notebook、和本地可以运行的脚本。我首先体验了一下官方的 web demo (lmflow.com):