鹏程·盘古α常见问题-以及自己提问的问题笔记

最新推荐文章于 2024-08-05 13:44:32 发布
最新推荐文章于 2024-08-05 13:44:32 发布
阅读量305 收藏
点赞数 1
分类专栏： 人工智能付费专栏 人工智能 文章标签： 深度学习 pytorch 盘古大模型 鹏城盘古 国内大模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq122716072/article/details/130314998
版权
本文档主要解答关于鹏程·盘古α模型在训练、推理环境、模型设计、模型压缩、下游任务、数据集、模型部署及产品对比等方面的问题。内容包括模型对GPU+MindSpore、PyTorch的支持情况，模型训练所用算力，模型文件加载错误的解决办法，以及模型在线体验服务和未来开放计划等。
摘要由CSDN通过智能技术生成

鹏程·盘古α常见问题-以及自己提问的问题笔记

a. 模型训练与推理环境问题

1. 是否支持GPU+MindSpore推理或者训练？

目前已支持GPU+Mindspore对PanGu-α 2.6B+13B模型进行推理，详细参考[PanGu-Alpha-GPU] 暂不支持GPU+Mindspore进行模型训练

2. 是否支持GPU+PyTorch推理或者训练？

经过模型参数的跨框架转换后，生成的pytorch版鹏程盘古模型，支持GPU+PyTorch推理或者训练。
参考该项目[PanGuAlpha_pytorch]。

3. 运行predict脚本的时候提示：AttributeError: ‘Dropout’ object has no attribute ‘dropout_gen_mask’

推理时用不到dropout的，相关行可以注释掉。

4. 盘古-α模型实际用了多大的算力，训练了多长时间？

PanGU-α 200B模型用了鹏城云脑2的2048块华为昇腾910，跑了几周时间

了解本专栏 订阅专栏 解锁全文 超级会员免费看
GeekPlusA
关注
专栏目录
订阅专栏
参数超过2千亿的自回归语言模型“鹏程.盘古”大模型，如何开天辟地
CSDN编程资讯
05-18 672
“人生若只如初见，何事秋风悲画扇。” “嘈嘈切切错杂弹，大珠小珠落玉盘。” “万里悲秋常作客，百年多病独登台。” 中文的美感，源于文人墨客对万里江山无限的眷念，也源于中华文明数千年的文化积淀。而如今，在人工智能时代里，想要让中文在不同行业、不同场景发挥更大价值，难免要对算力、算法模型、数据集等诸多因素进行全面突破。 近日，鹏城实验室联合技术团队，首次实现基于“鹏城云脑Ⅱ”和全场景AI计算框架MindSpore的自动混合并行模式，实现在2048卡算力集群上的大规模分布式训练，开发出业界首个2000亿参
1850001-魏鹏程-实验(九)-数据库系统原理实验报告纸1
08-08
数据库系统原理实验报告是同济大学的数据库系统原理实验报告，实验报告编号为1850001，姓名为魏鹏程，日期为2020/12/11。实验环境为Redhat5、VMware workstation 15 pro、Oracle。 本实验报告的主要内容是创建三个...
鹏程·盘古
yuanyuanxingxing的专栏
04-26 789
鹏程·盘古模型基于 1.1 TB 高质量中文训练数据，采用全场景人工智能计算框架 MindSpore 自动并行技术实现了五维并行训练策略，从而可将训练任务高效扩展到 4 096 个处理器上。对比实验表明，在少样本或零样本情况下，鹏程·盘古模型在多个中文自然语言理解或生成任务上都具有较优的性能。
【自然语言处理 | Language Models】Language Models 常见算法介绍合集（八）
wzk4869的博客
09-20 283
【自然语言处理 | Language Models】Language Models 常见算法介绍合集（八）
论文笔记--PANGU-α
weixin_38124427的博客
06-03 820
PANGU-alpha：1.1TB数据集上训练得到的2000亿参数模型
对国内外开源大模型（LLM）较为全面的整理
2301_82275412的博客
06-29 2009
CodeFuse-13B 是基于 GPT-NeoX 框架训练的 13B 参数代码生成模型，能够处理 4096 个字符的代码序列。该模型在 1000B Token 的代码、中文、英文数据数据集上进行预训练，覆盖超过 40 种编程语言。为了进一步提升生成代码的效果和质量，该模型还在CodeFuse-Evol-instruction-66k 数据集上进行了微调，使得该模型能够生成更加准确、高效、符合要求的代码。
人工智能-开源大语言模型完整列表
软件开发实战项目分享
06-11 576
Large Language Model (LLM) 即大规模语言模型，是一种基于深度学习的自然语言处理模型，它能够学习到自然语言的语法和语义，从而可以生成人类可读的文本。所谓"语言模型"，就是只用来处理语言文字（或者符号体系）的 AI 模型，发现其中的规律，可以根据提示 (prompt)，自动生成符合这些规律的内容。LLM 通常基于神经网络模型，使用大规模的语料库进行训练，比如使用互联网上的海量文本数据。
所有开源大语言模型完整列表（最全！！可部署，建议收藏）
最新发布
weixin_74041379的博客
08-05 1615
Large Language Model (LLM) 即大规模语言模型，是一种基于深度学习的自然语言处理模型，它能够学习到自然语言的语法和语义，从而可以生成人类可读的文本。所谓"语言模型"，就是只用来处理语言文字（或者符号体系）的 AI 模型，发现其中的规律，可以根据提示 (prompt)，自动生成符合这些规律的内容。LLM 通常基于神经网络模型，使用大规模的语料库进行训练，比如使用互联网上的海量文本数据。
开源大语言模型完整列表
2401_85280307的博客
06-04 808
即大规模语言模型，是一种基于深度学习的自然语言处理模型，它能够学习到自然语言的语法和语义，从而可以生成人类可读的文本。所谓"语言模型"，就是只用来处理语言文字（或者符号体系）的 AI 模型，发现其中的规律，可以根据提示 (prompt)，自动生成符合这些规律的内容。LLM通常基于神经网络模型，使用大规模的语料库进行训练，比如使用互联网上的海量文本数据。这些模型通常拥有数十亿到数万亿个参数，能够处理各种自然语言处理任务，如自然语言生成、文本分类、文本摘要、机器翻译、语音识别等。
叶鹏程-诺基亚 DevOps 演进-大数据推动流程优化与高效执行.zip
10-03
【标题】：“叶鹏程-诺基亚 DevOps 演进-大数据推动流程优化与高效执行” 在当今快速发展的信息技术行业中，DevOps已经成为企业提升软件开发效率和质量的重要实践。诺基亚作为全球知名的通信技术公司，也积极地拥抱...
叶鹏程-诺基亚 DevOps 演进-大数据推动流程优化与高效执行.pdf
08-23
再次，诺基亚针对"大量冗余测试线如何高效利用"的问题，利用大数据平台进行模块级和产品级的单个测试结果展示，以及特性级别的CI（持续集成）过程展示。这使得团队能快速识别出问题，及时进行修复，并通过多维数据...
yolov5系列-yolov5模型部署到web端
GeekPlusA的博客
06-28 6465
项目介绍：网页上传一个图片，调用后台api接口,处理后返回处理后的图片和json等信息。如图 后台用flask开发。模型处理封装成接口。请看项目结构。
yolov7系列-训练自己的数据集
GeekPlusA的博客
07-15 5428
yolov7训练自己的数据
如何使用Google Colab免费算力训练自己的模型
GeekPlusA的博客
06-16 4839
登录GoogleDriverhttps://drive.google.com/drive/my-drive需要科学上网 安装Colaboratory插件,并新建Colaborator,如下图 右键我的云端硬盘—>选择更多—>选择关联更多应用—>搜索Colaborator插件并安装。 新建Colaborator 连接Google drive 首先在单元格中输入并执行以下命令 !apt-get install -y -qq software-properties-common pyt.
yolov系列-yolov1-论文详解
GeekPlusA的博客
03-24 4662
yolov系列-yolov1-论文详解@[TOC](yolov系列-yolov1-论文详解)yolov1相关资料yolov1论文详解算法原理yolov1优缺点 yolov1相关资料 yolov1论文详解 算法原理 在yolov1中作者将一幅图片分成7*7个网格(gird cell)，由网络的最后一层输出7 * 7 * 30的tensor，也就是说每个格子输出1 * 1 * 30的tensor。30里面包含了2个bounding box的x，y，w，h，confidence以及针对格子而言的20个类别概率，输
yolov5系列-[2]-数据标注、参数设置、训练优化
GeekPlusA的博客
11-30 3716
yolov5训练模型相关配置
人工智能10大算法-CNN(Convolutional Neural Networks)-笔记
GeekPlusA的博客
08-14 3237
CNN 目的:提特征 Pooling 池化目的: 降采样(subsample)，减小参数(防止过拟合) 减少输入图片大小也使得神经网络可以经受一点图片平移,不收位置的影响 有大小、步长、padding类型 池化神经元没有权重值,只有取最大或者求平均 ...
yolov3系列(一)-keras-yolo3环境搭建
GeekPlusA的博客
12-26 2664
yoloV3主页： https://pjreddie.com/darknet/yolo/ keras-yolo3代码： https://github.com/qqwweee/keras-yolo3.git VOC数据集 http://host.robots.ox.ac.uk/pascal/VOC/ 环境需求 tensorflow-gpu1.4.0 keras2.1.3 python3.6.0 ...
3-RSS/S并联机构位姿误差数值分析方法
为了克服这一问题，作者陈国强和杨鹏程提出了采用数值分析方法来深入研究位姿误差。 首先，他们基于逆向运动学模型，利用无误差的机构尺寸参数进行逆解计算，以确定机构的输入参数。这一步是确保精确计算的基础，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

GeekPlusA

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值