StableLM 教程：从入门到实践

最新推荐文章于 2024-08-29 10:23:39 发布

龙天林

最新推荐文章于 2024-08-29 10:23:39 发布

阅读量263

点赞数 4

本文链接：https://blog.csdn.net/gitblog_00442/article/details/141083341

版权

StableLM 教程：从入门到实践

StableLMStableLM: Stability AI Language Models项目地址:https://gitcode.com/gh_mirrors/st/StableLM

1. 项目介绍

StableLM 是由 StabilityAI 开发的一款开放源代码语言模型，它具有16亿参数的解码器结构。该模型旨在提供帮助并促进安全的对话，能够进行文本生成、写作创作等任务，同时避免参与可能对人类有害的行为。StableLM 不仅是一个信息检索工具，还能与用户进行有趣互动，如写诗、讲故事或讲笑话。

2. 项目快速启动

要开始使用 StableLM 模型，首先你需要安装 transformers 库。在命令行中运行以下代码：

pip install transformers

然后，你可以通过 Hugging Face 的 API 进行简单的文本生成。以下是一个 Python 示例：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from transformers import StoppingCriteria, StoppingCriteriaList

tokenizer = AutoTokenizer.from_pretrained("stabilityai/stablelm-tuned-alpha-7b")
model = AutoModelForCausalLM.from_pretrained("stabilityai/stablelm-tuned-alpha-7b").half().cuda()

class StopOnTokens(StoppingCriteria):
    def __call__(self, input_ids: torch.LongTensor, scores: torch.FloatTensor, **kwargs) -> bool:
        stop_ids = set([50278, 50279, 50277, 1, 0])
        return input_ids[0][-1] in stop_ids

system_prompt = """<|SYSTEM|># StableLM Tuned (Alpha version)\n<|USER|>你好，今天天气如何？\n<|ASSISTANT|>"""
inputs = tokenizer(system_prompt, return_tensors="pt")
inputs = inputs.to("cuda")

tokens = model.generate(
    **inputs,
    max_new_tokens=64,
    temperature=0.7,
    do_sample=True,
    stopping_criteria=StoppingCriteriaList([StopOnTokens()])
)

print(tokenizer.decode(tokens[0], skip_special_tokens=True))

这段代码将生成一个基于给定提示的回复。