先说一下博主自身的情况,只有一点儿python基础,承蒙网络上各路开源大神指导,跌跌撞撞,道阻且长。
一、大模型的部署
很多学习的第一步往往都是入不了门即放弃,大模型学习可能第一步就败在了模型部署上。大白话来说就是模型都没有,我学个啥?看了看网上资料,什么open ai key是什么?在哪里找?找不到怎么办?部署本地模型,无需什么key就可以学习。
1、ollama下载
国内网络就可以进入ollama的官网。ollama下载完成后,点击不会出现页面,只有右下角一个小图标,导致博主一度认为安装失败。但是进入终端是可以执行命令、下载模型的。于是,这一步就算搞定。
然后浏览器进入ollama的官网,在右上方点击Models。
选一个想用的模型,在终端运行下图右下角的命令:ollama run llama3.1就可以将模型部署在自己的电脑里。
2、模型实例化
from langchain.llms import Ollama
llm = Ollama(base_url='http://localhost:11434',model="填入你下载的模型")
from langchain_community.llms import Ollama
from langchain.llms import Ollama
以上两种库都可以成功导入Ollama,具体有什么区别还没有搞懂,除了这个之外还有一些类似的情况,后期争取可以搞懂写一个合集出来。
二、学习内容
1、LLMs
from langchain_ollama.llms import OllamaLLM
model = OllamaLLM(model="所使用的模型名")
2、Chat Modules
from langchain_ollama import ChatOllama
llm = ChatOllama(
model="所使用的模型名",
temperature=0,
# other params...
)
3、Embeddings
from langchain_ollama import OllamaEmbeddings
embeddings = OllamaEmbeddings(
model="所使用的模型名",
)