mistral 测试

一、目录
Mistral7b 对阵 Llama2–13b。
2. 部署
二、实现

1. Mistral7b 对阵 Llama2–13b。
   米斯特拉尔：一家有使命的初创公司
   来认识一下 Mistral AI，这是一家来自巴黎的令人兴奋的新初创公司！该公司由曾在 Google DeepMind 和 Meta 等科技巨头工作过的杰出人士创立，在业界引起了轰动。他们引人注目的艺术字标志和突破性的 1.18 亿美元种子轮融资使他们成为众人瞩目的焦点，在欧洲创造了历史。
   中文能力较差
   url:https://zhuanlan.zhihu.com/p/660245149
2. 部署
   配置： https://huggingface.co/TheBloke/Mistral-7B-Instruct-v0.1-GPTQ

pip install auto-gptq
pip install langchain
pip install tiktoken

from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline
model_name_or_path = "../Mistral-7B-Instruct-v0.1-GPTQ"
model= AutoModelForCausalLM.from_pretrained(model_name_or_path,
                                             device_map= "auto" ,
                                             trust_remote_code= False ,
                                             revision= "main" )
tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, use_fast= True)
prompt="Tell me about AI"
prompt_template= f'''<s>[INST] {prompt} [/INST] 
'''
print("===========================================")
input_ids = tokenizer(prompt_template, return_tensors='pt').input_ids.cuda()
output = model.generate(inputs=input_ids, temperature=0.7, do_sample=True, top_p=0.95, top_k=40, max_new_tokens=512)
print(tokenizer.decode(output[0]))
print("=============================================")