mistral 测试

最新推荐文章于 2024-09-27 22:47:07 发布

云帆@

最新推荐文章于 2024-09-27 22:47:07 发布

阅读量58

点赞数

文章标签：自然语言处理

本文链接：https://blog.csdn.net/weixin_40777649/article/details/134640899

版权

一、目录
Mistral7b 对阵 Llama2–13b。
2. 部署
二、实现

Mistral7b 对阵 Llama2–13b。
米斯特拉尔：一家有使命的初创公司
来认识一下 Mistral AI，这是一家来自巴黎的令人兴奋的新初创公司！该公司由曾在 Google DeepMind 和 Meta 等科技巨头工作过的杰出人士创立，在业界引起了轰动。他们引人注目的艺术字标志和突破性的 1.18 亿美元种子轮融资使他们成为众人瞩目的焦点，在欧洲创造了历史。
中文能力较差
url:https://zhuanlan.zhihu.com/p/660245149
部署
配置： https://huggingface.co/TheBloke/Mistral-7B-Instruct-v0.1-GPTQ

pip install auto-gptq
pip install langchain
pip install tiktoken

from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline
model_name_or_path = "../Mistral-7B-Instruct-v0.1-GPTQ"
model= AutoModelForCausalLM.from_pretrained(model_name_or_path,
                                             device_map= "auto" ,
                                             trust_remote_code= False ,
                                             revision= "main" )
tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, use_fast= True)
prompt="Tell me about AI"
prompt_template= f'''<s>[INST] {prompt} [/INST] 
'''
print("===========================================")
input_ids = tokenizer(prompt_template, return_tensors='pt').input_ids.cuda()
output = model.generate(inputs=input_ids, temperature=0.7, do_sample=True, top_p=0.95, top_k=40, max_new_tokens=512)
print(tokenizer.decode(output[0]))
print("=============================================")