通义千问Qwen-7B效果如何？Firefly微调实践，效果出色

通义千问Qwen-7B效果如何？Firefly微调实践，效果出色

通义千问Qwen-7B效果如何？Firefly微调实践，效果出色

 

01

前言

8月3日，阿里云发布了其首个开源大模型：通义千问Qwen-7B，并且开源可商用。虽然如今大家已经被各种百亿大模型吊高了胃口，但毕竟是阿里出品的大模型，还是引起了小伙伴们的广泛关注和讨论，并且在各个大模型榜单上都有非常优秀的表现。

🎉Firefly项目新增对通义千问Qwen-7B进行训练。我们用三万多条多轮对话数据跑了训练流程，本意是验证流程的有效性，后来发现效果很nice，效果请看第三节。只能感叹2.2万亿预训练token的威力，真是大力出奇迹。

后续我们会使用更多数据对Qwen-7B进行微调，大约一百万条数据，以验证其效果。