【腾讯云 HAI域探秘】体验大模型的多种业务应用

随着人工智能技术的不断发展，云化数据量及业务的不断膨胀，云化大模型用于业务和数据处理成为最重要发展方向。
随着ChatGPT推出的一夜爆火，AI开始渗透到ToC端的各个领域，并开始展示出巨大优势和先进性，大模型LLM一夜之间为大家耳熟能详。ChatGPT由于其问答方式真正接近于人类，人们纷纷感觉完全可以通过图灵测试，因此在上线短短几个月内，用户数量就突破了百万，甚至千万级别。这种快速增长的用户基础，在互联网上产生了广泛的影响力，除了在学术界受到关注外，在商业领域得到了广泛应用，打破了原有AI开发出各种基于大模型的技术的产品和服务。除了聊天、绘画、写诗之外，在各个垂直领域发挥出优势，像微软基于OpenAI推出了AI智能Office，像原有的视频领域也早已使用AI进行业务效率提升。
腾讯云作为国内领先的云服务提供商，同样在大模型领域也有相当的积累，其近期推出的 HAI（High-Performance AI）产品就展示了其实力，值得关注。本文将深入探讨腾讯云 HAI 的基于多个应用场景的使用方法。
首先，使用HAI需要开通腾讯云账号，微信一扫就可以开通，此处就不多展示了；然后开通HAI体验 ，

填写完信息后，等待短信通知后即完成开通，

点击前往体验，进入使用页面

当前提供两种使用方式，一是已经构建好的AI模型，包括Stable Diffusion ，ChatGLM2-6B，以及Llama等；

二是构建好的AI底层框架，包括Pytorch2和Tensorflow2.9。

首先体验基于Stable Diffusion (一个文本到图像的潜在扩散模型 )文生图能力：
当前HAI支持Gradio WebUI和Jupyterlab两种处理方式，本文描述下Web方式的体验，由于已经配置好Web的部署、运行、发布环境，因此直接点击Gradio WebUI即可进行体验页面，直接输入文字就可以在右侧窗口中完成，操作起来非常简单。生成了一副类似三体中太空舰队的场景，如下图；可以看出非常有科技感，描绘了一个未来太空战争的场景，一艘艘巨大的太空舰艇排列整齐，犹如一支强大的舰队。这些舰艇细节满满，外壳采用了高科技材料，坚固光滑，舰身安装有各种高科技武器和设备，核聚变发动机咆哮着，仿佛正在往水滴靠近。

其次体验基于Pytorch框架搭建姓名生成器：
由于需要自己开发代码搭建算法及模型，Pytorch框架基于Jupyterlab进行开发，
点击后进入开发小伙伴都熟悉的页面，首先进入ubuntu os的操作页签，

按照HAI实验课题的操作知道，一步步进行
（1）下载训练数据集:输入“cd /root
wget https://gitee.com/mmliujc/tencent_gpu/raw/master/data.zip
unzip data ”建立训练数据；
（2）建立操作环境：完成后创建NoteBook的Python可执行页面，选择Python3

（3）转换训练数据，得到字典；
（4）创建网络，使用类别张量网络，通过增加一个one-shot额外参数作为概率值，再增加第二个线性层 o2o（在隐藏层和输出层合并后），用于增强处理能力，最后定义一个dropout 层，以给定的概率随机将部分输入归零，用于模糊输入以防止过拟合；

（5）开始训练：每个训练集，分别为一组输入字母对应一组输出/目标字母；训练每一步中都进行一次预测，在每一步都计算损失，当前简单地将每一步的损失相加，并在最后进行反向传播，启动训练，完成后得到模型；

（6）推理验证：创建随机初始字幕，作为第一个字幕输入到网络，预测得到下一个字母，并将其作为下一个输入的字母，重复此过程直到遇到 EOS，结束推理，得到推理出的姓名文本。可以看到可以得到不同语言的推理结果。

最后，结合最近工作中问题，输入文本进行信息抽取，同样由于已经预置好ChatGLM2模型，因此建立使用也非常简单，最简单的是采用Web方式，建立好后，直接得到大模型的对话页面。

自己出题，第一题做信息抽取，思路是按照下图中输入的语句，进行分析，得到时间和处理对象，通过利用得到的抽取信息，作为Key值查询后端数据库，得到想要的结果，可以应用到实际的业务项目运维处理中，对于HAI来说，使用其进行时间和宾语对象的提取，

可以看到抽取的信息还是比较准确，又变换了时间信息进行提问，

第二题为帮忙生成训练数据，预期是利用大模型的理解和列举能力，基于现有的一条训练数据样本，给出一定条件，给出20条同等含义的训练数据，结果如下图

预期是HAI可以变换时间格式和处理对象就是宾语，即网络安全，生成不同的训练数据，当然也可能是我没有把握准HAI的输入关键词技巧，这次并未收到预期的效果；相比于其他平台效果感觉还可以加强（下图为其他平台给出的结果）。

通过上述几种业务体验，可以看出腾讯云HAI是一个功能强大、易于使用的AI计算平台，提供了高性能的AI算力资源和服务，可以在短短几分钟内构建如StableDiffusion、ChatGLM等热门模型的应用环境，提供WebUI应用无代码方式和JupyterLab运行低代码方式，大大降低了调试的复杂度。
除了HAI外，腾讯云还是有其他AI产品，像人工智能的基础类产品和应用类产品，如下，如果有业务机会后续也会尝试。

文末提几点个人的感觉和建议：
首先，大模型代表了AI和深度学习在自然语言处理领域的最新进展，正在彻底改变NLP任务的状态，并催生出更强大、更智能的语言技术，对于大模型的发展这条路毋庸置疑应该是要坚持的。
其次，不知道ChatGLM2的web后续是否会类似ChatGPT那样开放使用，因为对于AI模型最重要的是要用起来，用起来才能收集更多数据，才能Touch到更多的业务场景；同时当前ChatGLM2的web在用户体验上，是否考虑增加类似重生生成按钮、输入框支持记录回滚输入、对于给出的结果支持用户评估是否符合预期等等，除了用户方便执行外，也便于问题的收集、分类和处理。
最后，预置模型类型和级别的不断丰富，毕竟随着的大模型的不断发展，无论训练、推理或者部署需要的资源和时间越来越大，对于一些特定场景化的应用并不是特别友好，而各场景有各场景最适合的模型，因此是否可以发布一些满足要求一些特定场景的小模型，又或者大模型是否可以使用蒸馏等技术做压缩数据量和计算精度处理，这样可以占用更少的资源，甚至部分模型可以基于CPU就可以运行，这样就可以直接部署到腾讯云的现有用户运行环境，让更多用户参与更方便应用。
相信依托于腾讯云积累的丰富业务场景，强大的资源能力，以及行业企业深度结合的实践，腾讯HAI可以在大模型这个火热的赛道呈现出独有的一片光亮。