玩转LangChain - 2 在本地跑Google新出的Gemma模型

  每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同行！ 订阅：https://rengongzhineng.io/

在“玩转LangChain - 1”一节，我发现自己达到了OpenAI使用限额，需要升级。通过本地运行大型语言模型（LLM），让LangChain可以访问它，这样可以节省一些费用。几周前，谷歌发布了Gemma。让我们试试看。

从Ollama 安装Ollama Mac版本，载入Gemma并通过Ollama在本地运行它。最初，我尝试安装Mistral，但发现它有点沉重。相比之下，Gemma 2b只有1G多一点。

运行 

ollama run gemma:2b

安装成功后，我们可以通过内部提问来验证Gemma的反应。

1.安装LangChain

执行

pip install langchain

命令来安装LangChain。运行以下命令以验证安装是否成功：

python -c "import langchain; print('LangChain version:', langchain.version)"

LangChain版本：0.1.11

2. 在测试代码中调用Gemma

from langchain_community.llms import Ollama
import logging

# Configure basic logging
logging.basicConfig(level=logging.INFO)

try:
    llm = Ollama(model="gemma:2b")
    
    # It's good practice to ensure prompts are well-defined. Adjust based on the model's capabilities.
    prompt = ("Who are you? "
              "Are you better than Mistral? "
              "Can you share a detailed comparison?")
    
    response = llm.invoke(prompt)
    print(response)
except ImportError:
    logging.error("Failed to import Ollama from langchain_community. Is the package installed?")
except Exception as e:
    logging.error(f"An unexpected error occurred: {e}")

运行结果

也可以调用Restful API

curl http://localhost:11434/api/chat -d '{
  "model": "gemma:2b",
  "messages": [
    { "role": "user", "content": "hi, who are you?" }
  ]
}'

接收回复需要2-3秒钟，Gemma看起来相当不错。现在，我们准备将更复杂的LangChain作品移植到我们的本地大型语言模型（LLM），同时节省资金。玩得开心！