Paddle相关技术应用专栏
文章平均质量分 86
Paddle相关技术应用专栏
汀、人工智能
本博客将不定期更新关于机器学习、强化学习、数据挖掘以及NLP等领域相关知识,以及分享自己学习到的知识技能,感谢大家关注!
展开
-
飞桨运行算力最新版本
2017年5月11日,正式发布了全新Volta架构GPU——NVIDIATeslaV100,TeslaV100是史上规模最庞大的GPU,拥有超过210亿个晶体管,是上代TeslaP100的1.37倍,核心面积达到了创纪录的815平方毫米。此外,TeslaV100还增加与深度学习高度相关的Tensor单元,Tensor性能号称可以达到120TFLOPS。同时,TeslaV100的二级缓存及寄存器大小也有所增加,L2缓存由TeslaP100的4MB增加到了6MB,每组SM单元的寄存器文件大小总数从14MB增加到原创 2022-06-02 09:58:41 · 588 阅读 · 0 评论 -
NLP涉及技术原理和应用简单讲解【二】:paddle(分布式训练、AMP自动混合精度训练、模型量化、模型性能分析)
注:上述实验构建了一个理想化的实验模型,其matmul算子占比较高,所以加速比较明显,实际模型的加速效果与模型特点有关,理论上数值计算如matmul、conv占比较高的模型加速效果更明显。,业界提出了 16 位的数据类型(如 GPU 支持的 float16、bfloat16),每个数据仅需要 16 位的存储空间,比 float32 节省一半的存储空间,并且一些芯片可以在 16 位的数据上获得更快的计算速度,在模型部署阶段,使用计算好的量化信息对输入进行量化,基于整数运算进行预测推理。......原创 2022-08-29 17:46:50 · 1339 阅读 · 0 评论 -
NLP涉及技术原理和应用简单讲解【一】:paddle(梯度裁剪、ONNX协议、动态图转静态图、推理部署)
¶在深度学习模型构建上,飞桨框架支持动态图编程和静态图编程两种方式,其代码编写和执行方式均存在差异。采用 Python 的编程风格,解析式地执行每一行网络代码,并同时返回计算结果。在模型开发章节中,介绍的都是动态图编程方式。静态图编程:采用先编译后执行的方式。需先在代码中预定义完整的神经网络结构,飞桨框架会将神经网络描述为 Program 的数据结构,并对 Program 进行编译优化,再调用执行器获得计算结果。动态图静态图优缺点:动态图编程体验更佳、更易调试,但是因为采用。......原创 2022-08-29 16:19:46 · 1407 阅读 · 0 评论 -
关于飞桨UIE等模型预测推理时间很久的问题分析以及解决,蒸馏剪枝部署问题解决
用uie做实体识别,Taskflow预测的时间与schema内的实体类别数量成正比,schema里面有多少个实体类别。原创 2022-08-26 15:08:48 · 1255 阅读 · 1 评论 -
百度飞桨各个库版本记录!
文心大模型ERNIE是百度发布的产业级知识增强大模型,涵盖了NLP大模型和跨模态大模型。2019年3月,开源了国内首个开源预训练模型文心ERNIE 1.0,此后在语言与跨模态的理解和生成等领域取得一系列技术突破,并对外开源与开放了系列模型,助力大模型研究与产业化应用发展。得到的轻量级模型,模型结构与 ERNIE 2.0 保持一致,相比 ERNIE 2.0 具有更强的中文效果。全系列中文预训练小模型发布,快速提升预训练模型部署效率,通用信息抽取技术。系列模型全新升级,支持速度更快效果更好的UIE小模型。...原创 2022-08-29 11:54:59 · 1430 阅读 · 0 评论