深度学习-13-小语言模型之SmolLM的使用

于 2024-09-14 09:05:35 发布
阅读量13 收藏
点赞数
分类专栏： 深度学习 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_20466211/article/details/141703570
版权

文章附录

1 SmolLM概述

1.1 SmolLM简介

SmolLM是一系列尖端小型语言模型，提供三种规模的版本：分别为135M、360M和1.7B参数。这些模型基于Cosmo-Corpus构建，这是一个经过精心策划的高质量训练数据集。
在这里插入图片描述

Cosmo-Corpus涵盖了Cosmopedia v2（由Mixtral生成的280亿个token的合成教科书和故事）、
Python-Edu（来自The Stack的40亿个token的教育性Python样本）以及FineWeb-Edu（来自FineWeb的220亿个token的去重教育性网页样本）。在测试常识推理和世界知识的多个基准测试中，SmolLM模型与其他同类规模的模型相比展现出了有希望的结果。

据 Hugging Face 官方消息，Hugging Face 近日推出一系列 SmolLM小模型，包含多个不同参数的模型。

SmolLM系列模型采用原创 SmolLM-Corpus 的数据集训练。该数据集主要包含 Python 教学内容 Python-Edu、Web 教育内容 FineWeb-Edu 以及使用 Mixtral-8x7

了解本专栏 订阅专栏 解锁全文 超级会员免费看
皮皮冰燃
关注
专栏目录
订阅专栏
大模型日报｜13 篇必读的大模型论文
AMiner2006的博客
07-19 918
大模型日报｜13 篇必读的大模型论文
SmolLM: 一个超快速、超高性能的小模型集合
Hugging Face
08-02 792
简介本文将介绍SmolLM。它集合了一系列最尖端的 135M、360M、1.7B 参数量的小模型，这些模型均在一个全新的高质量数据集上训练。本文将介绍数据整理、模型评测、使用方法等相关过程。SmolLMhttps://hf.co/collections/HuggingFaceTB/smollm-models-6695016cad7167254ce15966引言近期，人们对能在本地设备上运行的小语言...
小规模的LLMS
一休
07-26 667
低成本的大语言模型，开源
Ollama 0.3.7-0.3.8 版本已推出
2401_85375186的博客
08-29 767
Hermes 3:：Hermes 3 是 Nous Research 推出的旗舰 Hermes 系列大语言模型 (LLM) 的最新版本，支持工具调用。Phi 3.5:：一个轻量级 AI 模型，拥有 38 亿个参数，性能超越了同等规模甚至更大的模型。SmolLM:：一系列小型模型，拥有 1.35 亿、3.6 亿和 17 亿个参数，在新的高质量数据集上训练。
AI领域新星：Apple推出小模型家族
2301_79342058的博客
07-23 987
每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同行！订阅：https://rengongzhineng.io/
AI大模型，互联网的中年革命？人才抢夺白热化，平均工资水平惊呆了……
chengxuyuanyy的博客
09-09 1442
在腾讯股东大会上，CEO马化腾深刻指出，人工智能（AI）并非仅仅是互联网领域十年一遇的机遇，而是一个具有深远影响的、
预训练和监督微调（SFT）之间的差异
sdfghkhsab的博客
09-11 752
毫无疑问，大型语言模型的预训练需要多节点、多 GPU 的配置，这就需要分布式训练。目前底层的分布式预训练可以通过调用 NCCL 来实现，更上层的工具有 Megatron、DeepSpeed、HF 的加速库（目前支持 FSDP）等，这些工具可以有效实现 DP/PP/TP。而微调是加载预训练模型中的参数，保留预训练中学习到的共性特征，并在少量高质量标注数据上进行训练，以提升模型在特定任务上的能力和性能。当我们谈论预训练和监督微调（SFT）之间的差异时，目标、使用的数据集和所需的 GPU 数量都是不同的。
AI视界周刊第 2 期：Llama 3.1 开源、AI 训 AI，越训越傻、AI 搜索重燃战火
战场小包的博客
07-28 475
AI 视界周刊由战场小包维护，每周一更新，包含热点聚焦、应用破局、学术前沿、社区热议、智见交锋、跨界 AI、企业动态和争议 AI 八大板块，后续板块划分和内容撰写在周刊迭代过程中持续优化，欢迎大家提出建议。
74MB跑GPT！CPU单核就能聊天的超轻量“大”模型来了
Python_cocola的博客
08-02 719
在推特上宣布，他们成功将一个能正常对话的AI模型，而且只需要就能以每秒198个token的速度流畅运行。这是什么概念？要知道，目前主流的大语言模型动辄几十上百GB，没有高性能显卡根本跑不动。而这个74MB的模型居然能在普通笔记本上流畅对话，简直是魔术级的黑科技！nisten表示，他们通过改进技术实现了这一突破，并计划通过@skunkworks_ai开源这个名为的模型。不过，他也承认模型还有点"笨"，但对话能力基本够用了。最让人惊讶的是它的，简直快得离谱。为了达到这一效果，研究团队进行了。
从零实现深度学习框架——N-Gram语言模型(一)
日积月累，天道酬勤
04-24 3641
主要介绍了N-Gram语言模型的基本知识。
深度学习-训练模型
weixin_43343389的博客
12-07 3870
训练模型 深度学习技术能很好的解决物体识别能力泛化的问题。但是从头开始设计、实现、训练和验证模型，是一个非常耗时耗力的工作。那么tensorflow object detection api框架，以及在coco数据集、kitti数据集和open images数据集上训练好的模型，免除了深度学习模型研发的工作，让工程师可以直接在预训练模型上做迁移学习。 1、使用tensorflow预训练模型 一个典型的深度学习训练流程： 准备图片–标注图片–训练模型–导出冻结图 1.1准备图片 准备图片和标注是整个训练流程中
PyTorch深度学习实战（1）——神经网络与模型训练过程详解
热门推荐
盼小辉丶的博客
05-28 6万+
在本节中，我们将了解传统机器学习与人工神经网络间的差异，并了解如何在实现前向传播之前连接网络的各个层，以计算与网络当前权重对应的损失值；实现反向传播以优化权重达到最小化损失值的目标。并将实现网络的所有关键组成——前向传播、激活函数、损失函数、链式法则和梯度下降，从零开始构建并训练了一个简单的神经网络。
开源模型应用落地-音乐生成模型-suno/bark深度使用-AIGC应用探索（六）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
06-17 9404
学习suno/bark音乐生成模型，让我们能够探索到音乐创作的全新边界和可能性
本科生学深度学习-用最通俗易懂的方式学会深度学习-目录
我是香菜
01-15 4786
深度学习是这几年最火的技术，个人看来也是将来最有前途的技术路径，所以我认为应该去学习下深度学习，但是现在这项技术似乎是阳春白雪，搞技术的都是些高学历的，对于我们本科生来说是有点困难的。 介绍下我自己，信息安全专业毕业做了十年的程序，本科211，一直在游戏行业做游戏，平常喜欢探索新技术，希望自己保持学习的心态，不至于被时代落下。 深度学习一直是一门高不可攀的技术，并不是这门技术有多难，而是很多的技术文章都是将技术最底层的细节展示，各种高不可攀的公式，看不懂的...
pycharm调试知识， 线程进程与深度学习
小泽爱刷题的博客
09-10 1130
多线程在深度学习中主要用于I/O 密集型任务，如数据加载和预处理，以防止数据成为训练过程中的瓶颈。多进程常用于克服 GIL 的限制，处理 CPU 密集型任务，以及在分布式训练中并行化模型训练。GPU 并行计算是深度学习的核心，主要负责大规模矩阵运算和模型训练，并行性是由 GPU 硬件架构提供的，而不是通过 Python 的多线程机制。因此，深度学习中多线程的应用主要集中在数据加载、推理服务和辅助任务，而核心计算则由 GPU 完成并行化处理。多进程。
【大模型专栏—入门篇】机器学习与深度学习基础测试
文艺倾年的博客
09-10 1825
在前向传播过程中，模型各个层的参数w和层的输入输出都是fp16，但是fp16的精度不够，无法表示特别小的数值，这会导致在进行梯度更新的时候，梯度值下溢，导致被调整参数没有变化。因此，合理选择缩放因子和监测训练过程中梯度的变化是非常重要的。，当GPU显存不够充足的情况下，较大的Batch size会导致OOM，因此，需要针对实际的硬件情况，设置合理的Batch size取值。对于所有wi都是一样的，xi是i-1层的激活函数的输出，如果像sigmoid一样，输出值只有正值，那么对于第i层的所有wi，其。
如何通过深度学习实践来理解深度学习的核心概念
最新发布
xw555666的博客
09-13 565
通过深度学习实践可以更好地理解其核心概念，因为理论知识在实际应用中会面临复杂性和挑战。通过实践，不仅可以加深对深度学习概念的理解，还能发现理论与实际之间的差距，进而对模型进行改进和优化。实践中遇到的问题（如梯度消失、过拟合、训练效率低等）能促使你深入思考，进而更加全面地掌握深度学习的核心概念。
基于CNN-BiGUR的恶意域名检测方法
k__opp的博客
09-10 1082
卷积神经网络（CNN）被设计用于高效提取恶意域名中的字符级局部上下文特征，通过使用不同大小的卷积核并行处理字符序列，每个卷积核负责捕捉不同粒度的特征，同时利用256个滤波器来增强特征的捕捉能力；此外，模型还引入了K-Max平均池化方法，它结合了最大池化和平均池化的优点，通过选取K个最大值并计算平均值来保留更多的特征信息，这种方法不仅减少了特征维度，还保留了原始特征的强度，确保了从样本中提取出最有效的特征。融合后的特征向量包含了字符级和时序级的信息，为分类提供了丰富的特征表示。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

皮皮冰燃

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值