Upstage 将发布新一代 LLM “Solar Pro “预览版-CSDN博客

本文链接：https://blog.csdn.net/weixin_41446370/article/details/142209318

Solar Pro 是最智能的 LLM，经过优化可在单 GPU 上运行，性能超过微软、Meta 和谷歌等科技巨头的模型。

加州圣何塞2024年9月11日电 /美通社/ – Upstage 今天宣布发布其下一代大型语言模型 (LLM) Solar Pro 的预览版。加州圣何塞2024年9月11日电 /美通社/ – Upstage 今天宣布发布其下一代大型语言模型 (LLM) Solar Pro 的预览版。该预览版作为开源模型免费提供 API 访问，让开发人员和企业有机会在该模型于 11 月正式发布之前对其进行测试并提供反馈。

在这里插入图片描述

作为 Solar LLM 系列的旗舰型号，Solar Pro 拥有 220 亿个参数，是其前身 Solar Mini 的两倍多。尽管体积增大，但由于采用了 Upstage 专有的深度向上扩展（DUS）方法和先进的数据配方，Solar Pro 经过优化，可在单个 GPU 上高效运行。这一创新使Solar Pro在提供一流性能的同时，大幅缩小了模型尺寸–在人工智能领域，面对不断上涨的GPU成本和供应限制，这是一项至关重要的优势。

Solar Pro 的先进功能在关键的 LLM 基准测试中取得了令人印象深刻的成绩，与 Solar Mini 相比平均提高了 51%。在衡量 14 个领域的多学科语言理解和推理能力的 MMLU Pro 基准测试中，Solar Pro 的准确率达到了 52.11 分。此外，Solar Pro 在 IFEval 基准测试中取得了 84.37 分的优异成绩，展示了其遵循复杂指令的能力，其智能程度可与人类媲美。

在这里插入图片描述

这些结果超过了领先科技公司的同类型号，包括微软的 Phi 3 Medium、Meta 的 Llama 3.1 8B、Mistral NeMo 12B 和谷歌的 Gemma 2 27B。 Solar Pro 甚至可以与需要多个 GPU 的更大型机相抗衡，例如参数数量是其三倍的 Llama 3.1 70B。 Solar Pro 在一般任务和特殊任务中都树立了新的标准，是当今市场上最智能、最高效的 LLM。

"Upstage首席执行官Sung Kim表示："我们的Solar LLM系列已经对全球人工智能市场产生了重大影响，我们非常高兴能够通过Solar Pro进一步推动这一领域的发展，Solar Pro是在单个GPU上运行的最智能的LLM。 "我们邀请开发人员和企业探索 Solar 预览版，它提高了小型语言模型的性能标准。

Solar Pro 的先进功能使企业能够自动化和简化各行各业的各种任务。在医疗保健领域，它可以分析病人记录、生成临床摘要并支持医学研究。在金融领域，它可以进行财务分析、起草报告并提供个性化投资建议。在法律服务领域，Solar Pro 可以审查合同、汇总法律文件并协助法律研究，是提高生产力和效率不可或缺的工具。

在 11 月正式发布之前，Solar 预览版将作为开源模式供公众使用，包括商业应用，并提供免费 API 访问。该预览版支持英语输入，并提供一个包含 4,096 个词组的上下文窗口。

QuickStart

# Install requirements
# !pip install transformers==4.44.2 torch==2.3.1 flash_attn==2.5.8 accelerate==0.31.0

# Load model
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("upstage/solar-pro-preview-instruct")
model = AutoModelForCausalLM.from_pretrained(
    "upstage/solar-pro-preview-instruct",
    device_map="cuda",  
    torch_dtype="auto",  
    trust_remote_code=True,
)
# Apply chat template
messages = [
    {"role": "user", "content": "Please, introduce yourself."},
]
prompt = tokenizer.apply_chat_template(messages, return_tensors="pt", add_generation_prompt=True).to(model.device)
# Generate text
outputs = model.generate(prompt, max_new_tokens=512)
print(tokenizer.decode(outputs[0]))