大模型发展
通过图片能看出,大模型由专用模型向多任务多模态的通用大模型发展。通用大模型是通用人工智能的必经之路。
书生浦语大模型
开源了免费商用的模型版本,后续更新了各种参数量的模型,并在今年开源了二代版本。
不同参数量规模的模型都包含右侧三个版本,推荐在Base基础上实现自己需求方向的搭建。
语言建模本质需要有高质量的数据,故提出新一代数据清洗过滤技术。二代模型的建模能力比一代强很多。
书生浦语二代模型
书生2.0优点如下:
支持超长上下文
综合性能比肩Chatgpt
指令跟随与对话体验更优秀
支持多种工具使用,有助于复杂智能体搭建
计算能力很强,达到GPT-4类似水平
用途举例:
扮演AI助手安排行程;给一些人文关怀的回答;帮助进行有想象力的创作,如剧本等;有进行数据分析的功能;此外模型能通过不同工具的组合使用完成较复杂的任务。
全链条生态体系
为了应对各种需求,书生开源了全链条体系
数据方面:
预训练:
微调:
微调框架适用性较好。
总之,能看出全链条生态都发展比较完善,而不只是大模型的预训练。
对于视觉,语音,多模态等都有支持。