用AI启动个人项目实战【连载04】-支持LLaMA2、Mixtral和Gemma！

本文链接：https://blog.csdn.net/MrToyy/article/details/137462704

本文介绍了平台新接入的LLama270B、Mixtral8x7B和Gemma7B等开源大模型，以及如何通过CrewAI和AutoGen进行简单配置。CrewAI示例代码和稍复杂的AutoGen配置说明也在文中提供。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

今天给大家带来个好东西，我们的平台接入当下最流行的LLama2 70B、Mixtral 8x7B和Gemma 7B了！

从Groq.com上薅到了一些免费的额度，可以在有限的访问量上用到这些世界一流的模型。现在，我们的平台支持如下的模型：

"meta-llama/llama-70b:free": # 由meta推出的LLaMA2 70B开源模型，支持4k上下文

"mistralai/mixtral-8x7b:free": # 由Mistral推出的8x7B开源模型，支持32k上下文

"google/gemma-7b:free": # 由Google推出的Gemma 7B开源模型，支持8k上下文

"01-ai/yi34b:free": # 零一万物34B

"mistralai/mistral-7b-instruct:free": # 由Mistral推出的Mistral 7B

"undi95/toppy-m-7b:free": # Toppy M 7B

"openchat/openchat-7b:free": # OpenChat 3.5 7B

了解到有些朋友在使用CrewAI。CrewAI的使用方式非常简单，只需要加入如下代码：

import os
os.environ["OPENAI_API_BASE"]="https://api.mrtoyy.com/v1"
os.environ["OPENAI_MODEL_NAME"]="meta-llama/llama-70b:free" # 根据需要选择
os.environ["OPENAI_API_KEY"]="123456" # 目前可以随便填

对于AutoGen的用户，稍微复杂一点，代码如下：

import autogen
 
def generate_config_list(model_names, api_key='your_api_key'):
    # 如果输入是字符串，将其转换为只有一个元素的数组
    if isinstance(model_names, str):
        model_names = [model_names]
    base_url = 'https://api.mrtoyy.com/v1/'
    # 使用列表推导式创建配置列表
    return [{'model': model_name, 'api_key': api_key, 'base_url': base_url} for model_name in model_names]
 
config_list = generate_config_list(
    model_names=["meta-llama/llama-70b:free"], # 将需要用到的模型作为列表填入
    api_key="YOUR_API_KEY" # 目前可以随便填，我还没有完成用户系统部分
) # 配置AutoGen需要的config_list
 
assistant = autogen.AssistantAgent(
    name="assistant",
    llm_config={
        "config_list": config_list,  # 将前面生成的config_list作为参数传入
        "temperature": 0, 
    },
)

好了，你已经可以使用最流行的大模型了。如果大家喜爱，我下一步再把收费的大模型接口整合进来。