大模型是在是太火爆了,正在非常多的场景中重构着业务生态,想入手学习的的话其实我们是有很多的后发优势的,各种版本模型、教程、甚至培训班都已经在路上了。
编程作为一个实践性很强的学科,业务李需要用到的跑一跑、试一试、用一用还是必须的,还要知道业务需要什么、现在能满足什么、需要怎么优化。这样整个调研的链路就通顺了。
跑起来一个模型其实并不困难
(1)在Hugging Face上搜索发现你想尝试的模型。如nlp比较火的chatglm2-6b。
(2)上面就有demo程序,如:
from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm2-6b", trust_remote_code=True)
model = AutoModel.from_pretrained("THUDM/chatglm2-6b", trust_remote_code=True).half().cuda()
model = model.eval()
response, history = model.chat(tokenizer, "你好", history=[])
print(response)
你好👋!我是人工智能助手 ChatGLM-6B,很高兴见到你,欢迎问我任何问题。
response, history = model.chat(tokenizer, "晚上睡不着应该怎么办", history=history)
print(response)
如果你已经把模型下载到了本地,把这个from_pretrained函数的模型路径改称本地路径就可以了。
我这的测试就换成了本地的路径,运行成功。接下来就可以进行各种调侃了。