大模型参数规模的研究 大模型参数规模的探索 计算量不变的话,参数量,规模,loss有一个平衡点,不一定越大越好,可能百亿模型效果优于千亿模型。 大模型预训练数据的研究 大模型数据配方的探索 大语言模型预训练数据集 OpenDataLab-浦数 语料基础 ### 数据采集工具库 数据处理的难题 创新性描述语言DSDL