基于Byzer-LLM和ChatGLM-6B快速搭建一款免费的语言大模型助力电商企业

假设有一家电商企业，员工大概20-30人，企业是在淘宝等电商平台买衣服，目前在淘宝上已经上架十万种服饰, 之前淘宝限制服饰的标题描述字数，所以写的特别精简。以该公司售卖的阔腿裤为例，目前标题都是这样的：

类型#裤*版型#宽松*风格#性感*图案#线条*裤型#阔腿裤 

现在淘宝突然放开了，允许200字。那么这件事要不要做呢？肯定要做的，企业希望新的描述可以更好的吸引消费者。这个时候人工去写这十万个描述么？在以前，可能真需要，因为AI很烂，而且性价比还低，还要招算法工程师。那现在呢？老板找了一个研发，说两天之内把这事搞定。当然了，研发有两条路可以走，第一条是去调现成的大模型API。这个方式第一个是要花钱，第二个发送的数据很可能有被买卖的风险。 所以他选择了第二条路，找了一个开源的大模型，基于Byzer-LLM和ChatGLM-6B快速搭建一款免费的语言大模型，部署成函数，再跑一把十万条记录，效果还不错。第二天，他把效果导出成excel给到老板看。老板满意，接着他用一条Byzer 指令把新的描述更新到了数据库，此时完成了整个业务场景。

接下来，我们看一下Byzer-LLM是如何利用简短的几十行代码完成这个业务的：

 至此我们就把chatglm部署成服务，Byzer 会把模型部署成 SQL 函数并支持批处理，流式计算，接下来我们可以验证效果：

该函数还通过 API 供外部应用使用：

（1）curl调用

(2)http调用：

其实，不仅仅是大模型部署，byzer-llm还支持大模型微调，并且还是十几行代码搞定。观察到，chatglm-6B生成的语句不是最优，下面将从微调的角度继续优化该案例。

注意到原生的chatglm-6B生成的内容并不是令我们最满意的，假设企业有一些优秀的服饰标题数据，现在想要把这些数据喂给chatglm-6B，让大模型有更多的知识，从而生成更优质的标题，这就需要对chatglm-6B进行微调。

假设我们的数据是以excel表的形式存在的：

（ 当然这里仅仅只有我手写的两条数据，我们假设数据很多很多）

数据有了,接下来我们利用byzer把数据加载成数据表

 

通过对前面数据的预处理，接着我们就可以直接把这些数据注入到大模型里面了。注入完成后会产生一个新的大模型，我们同样可以保存到数据湖按库表方式来管理。

 自此，我们利用自己的数据对大模型微调完毕，并产生了新的模型权重。接下来我们对比效果：（当然，由于我们数据量几乎为0，所以微调前后的效果几乎无法有肉眼量化。）

 可见，利用byzer对大模型部署，微调都十分简便，仅仅需要几行代码就可以搞定。后续将会继续优化该案例，使用chatglm2-6B继续优化。