书生蒲语大模型-源码解析
文章平均质量分 89
AI生成曾小健
AI生成式技术,计算机博士;这个博客的主题主要是AI生成式技术、AI相关技术、机器/深度学习论文或科研前沿、GNN图神经网络、神经网络,包括人工神经网络和生物神经网络,及其大脑演化,智能和认知的产生,通用人工智能;
如果需要看商科/金融相关的请移步CSDN: 量化交易曾小健(金融号)
展开
-
书生蒲语-训练/预训练教程
micro_bsz=1, # packed_length = micro_bsz * SEQ_LEN,为一次处理的 micro_batch 的数据大小,默认值为 1。# content 表示哪些状态会被加载,支持: "model", "sampler", "optimizer", "scheduler", "all"micro_num=1, # micro_num 是指在一次模型参数更新中会处理的 micro_batch 的数目,默认值为 1。原创 2023-09-25 16:39:49 · 101 阅读 · 0 评论 -
书生·浦语-对话-20B 书生大模型
上海人工智能实验室与商汤科技联合香港中文大学和复旦大学正式推出书生·浦语200亿参数模型版本 InternLM-20B ,InternLM-20B 在超过2.3TTokens包含高质量英文、中文和代码的数据上进行预训练,其中 Chat 版本还经过了SFT 和 RLHF 训练,使其能够更好、更安全地满足用户的需求。InternLM 20B 在模型结构上选择了深结构,层数设定为60层,超过常规7B和13B模型所使用的32层或者40层。在参数受限的情况下,提高层数有利于提高模型的综合能力。原创 2023-09-25 16:12:30 · 179 阅读 · 0 评论