这周有幸加入到北京科瑞金有限公司担任ai研发实习生的工作
我首先测试了公司多模态模型,针对业务场景提出了一些测试方向。比如在石油行业大模型orc能力如何,对工程图的分类如何,对于实物图特征提取能力如何。并根据方案进行打标选出比较优秀的环境
我还学习了大模型的源代码,尝试使用新的promote工程解决模型对长文本orc识别出错的问题。进行提示词的更新提升了模型对于文本理解的能力。尝试对模型参数进行微调,提升了模型的输出速度。
阅读了transformers关于llama的源代码,学习了llama的全流程工作。对llama进行了loar微调。
使用了新的框架优化公司原有的框架,提升了公司处理文本分类的难题。
解决了公司对文本标签生成和文本分类的难题
根据业务,我提出可以使用bert变种模型,经过训练,可以进行客服回答问题的优化。缓解rag时用户输入不符合标准的情况。
后续我将加深对人工智能在采购方面的学习