创新项目实训记录（三）

李小牛momo

已于 2024-05-24 17:06:42 修改

阅读量882

点赞数 10

文章标签：人工智能

于 2024-05-24 16:15:23 首次发布

本文链接：https://blog.csdn.net/QWERTlkjh951/article/details/139175419

版权

#接入LLM API#

PS：写在文首，接入API这项工作本身并不麻烦，无非免费的API慢一点，好用的API昂贵一点，但既然是商业化的产品，操作对用户来说都是易上手的，但找到一个好用且性价比高的大模型API，尝试的时间成本还是比较高的，所以这篇博客主要是记录我对各个大模型API接入的尝试过程，包括在其中踩过的一些坑。

Open AI

毫无疑问，这是最好用的API，因为它的数据集是最庞大的，训练是最丰富的，但与之相伴的就是OpenAI的API是最贵的，而且对国内用户非常不友好，我之前在使用chat GPT时有一段时间进不去官网，当时以为是被封账号了，但其实是OpenAI加强了对亚洲节点的使用限制，所以节点最好选美国节点，但美国节点本身延迟比较高，尤其是在半夜加班的时候，会比较不稳定。而且API的购买方式需要国外的信用卡，我当时了解到的是可以通过中介，使用虚拟信用卡绑定支付宝账户来充值，但是充值最低20刀，而且会抽取比例手续费。这里我要声明的是，虚拟钱包我并没有实践过，大家谨慎选择途径！

Chat GLM

清华大学提供的开源API，我记得好像是100万token是免费的，好像还可以再免费申请200万token，如果是小项目这完全够用了，更方便的是它不需要梯子，而且它更针对中文语料库（我臆想的，因为在使用的时候chat glm的中文回答要比其他的更自然，很明显！！）。

使用方法：

从智谱AI官网注册账户，获取免费API key（智谱AI）

引入库：

pip install zhipuai

接入API：

# -*- coding: utf-8 -*-
from zhipuai import ZhipuAI

client = ZhipuAI(api_key = "申请的API key")

# 请求模型

response = client.chat.completions.create(
    model="glm-4",  # 填写需要调用的模型名称
    messages=[
        {"role": "user", "content": "作为一名营销专家，请为我的产品(一把电竞椅)创作一个吸引人的slogan"},
    ],
)
print(response.choices[0].message)

运行结果如下：

Gemini

gemini是谷歌旗下的大模型，提供免费的API，性价比比较高，但不足的是运行过程需要梯子（而且对接点也有限制，具体可以节点参考Google AI Studio 和 Gemini API 的适用区域 | Google AI for Developers | Google for Developers），我看到过b站有个视频教如何把gemini本地部署，他说在模型部署的过程需要梯子，但部署完成后续使用的时候就可以摆脱梯子了，大家需要的话可以去b站上再找一下试一下。

获取API key：

获取 API 密钥 | Google AI for Developers | Google for Developers

一定要先切换节点！！

安装依赖

pip install llama-index-llms-gemini
pip install -q llama-index google-generativeai

接入API（方法一）：

env GOOGLE_API_KEY=

使用（这里是另一种设置key的方法）：

import os

GOOGLE_API_KEY = ""  # add your GOOGLE API key here
os.environ["GOOGLE_API_KEY"] = GOOGLE_API_KEY

from llama_index.llms.gemini import Gemini

resp = Gemini().complete("如何开启活力满满的一天？")
print(resp)

效果展示：

补充说明：

我的代码主要是python脚本，按理来说从任一python编辑器都能用，但是我更推荐在colab欢迎使用 Colaboratory - Colab (google.com)上先尝试一下，再在本地使用。使用colab有几个好处，一方面是它是线上平台，提供实时保存功能，而且不会拖跨电脑cpu，最重要的是，一旦运行或者环境出了什么问题，它可以很方便地推导重来！除此之外，它还提供一定的GPU算力（但是非常有限）。这里需要注意的是，在运行命令行语句的时候需要加%。
除了上面我列出的大模型，其实还有百度的大模型文心一言，阿里的大模型通义千问，非常不幸的是，这俩在今年今年年初都从免费变成收费的了（但好像价格并不是很高），既然有了上文那些免费的API，我也就没再尝试这两个。
除了单纯地接大模型API，在这个过程中我其实还尝试过LlamaIndex，花费了很多精力，但是没有做出来，在依赖上有很多问题。当时是跟着一篇知乎的文章做的，他在文章中介绍了一个服务器平台，避雷！！我怀疑他就是为了给那个平台打广告，打着一开始免费赠送几个小时的旗号，实际极其难用，而且计费规则非常不合理，以小时为单位计算，即使你用了一分钟就关了，依然会扣你一整个小时的费用，都是血的教训。