【大模型】豆包大模型接入|10分钟带你手把手接入自己的项目中去

目录

1、进入官网火山引擎-云上增长新动力 (volcengine.com),注册一个自己的账号,并完成实名认证:

2、申请一个属于自己的API Key:

3、进入控制台火山方舟管理控制台 (volcengine.com)挑选想要调用的大模型:

4、回到控制台火山方舟管理控制台 (volcengine.com) ,进入在线推理板块,点击创建推理接入点:


        大模型已成为推动各行各业创新的关键力量,在本篇博客中,我将以火山引擎的云服务,特别是其大模型服务,来增强我们的项目并实现业务的增长,帮助你快速上手并实现大模型的调用。


1、进入官网火山引擎-云上增长新动力 (volcengine.com),注册一个自己的账号,并完成实名认证:

2、申请一个属于自己的API Key:

3、进入控制台火山方舟管理控制台 (volcengine.com)挑选想要调用的大模型:

进入开通管理,这里以 doubao-pro-4k这个模型为例,点击开通服务:

 点击立即开通:

4、回到控制台火山方舟管理控制台 (volcengine.com) ,进入在线推理板块,点击创建推理接入点

根据自己的需求,填写好下面的信息,添加好对应的模型:

创建好之后:

也可以查看这里的API调用文档:
 
里面有很多参考示例:

(在这一个页面你还可以找到对应的URL,这里忘记截图了。。。)

按照你的需求,结合示例代码,即可将大模型接入自己的项目中了。


PS:其他:

1、环境配置:

pip install --upgrade 'volcengine-python-sdk[ark]'

 2、示例代码:
 

from volcenginesdkarkruntime import Ark

client = Ark(
    base_url="https://ark.cn-beijing.volces.com/api/v3",
)

# Non-streaming:
print("----- standard request -----")
completion = client.chat.completions.create(
    model="ep-xxxxxxxxxxx",
    messages = [
        {"role": "system", "content": "你是豆包,是由字节跳动开发的 AI 人工智能助手"},
        {"role": "user", "content": "常见的十字花科植物有哪些?"},
    ],
)
print(completion.choices[0].message.content)

# Streaming:
print("----- streaming request -----")
stream = client.chat.completions.create(
    model="ep-xxxxxxxxxx",
    messages = [
        {"role": "system", "content": "你是豆包,是由字节跳动开发的 AI 人工智能助手"},
        {"role": "user", "content": "常见的十字花科植物有哪些?"},
    ],
    stream=True
)
for chunk in stream:
    if not chunk.choices:
        continue
    print(chunk.choices[0].delta.content, end="")
print()

### 豆包大模型在华为云平台上的部署与集成 对于大型预训练模型如豆包大模型,在华为云平台上实现其部署和集成涉及多个方面的工作,包括但不限于环境准备、资源申请以及具体的技术操作流程。 #### 环境搭建与配置 为了确保能够顺利运行该类大规模AI模型,建议先创建适合的虚拟机实例或者容器服务作为承载载体。通过华为云官网提供的ECS(Elastic Cloud Server)弹性云服务器产品来构建稳定可靠的计算节点;也可以考虑采用CCE(Cloud Container Engine),即托管版Kubernetes集群来进行更灵活的任务调度管理[^1]。 #### 获取并加载模型权重文件 访问GitHub仓库页面获取最新的StableLM版本链接,并下载对应的checkpoint或转换后的PyTorch/TensorFlow格式参数文件。此过程可能需要遵循特定的数据传输协议以满足安全合规的要求。 #### 集成开发工具链 利用ModelArts这一机器学习服务平台可以极大地简化从数据标注到最终上线整个生命周期内的各个环节。特别是针对已经训练好的深度神经网络结构而言,只需上传本地保存下来的.pb/.pt等序列化对象即可快速完成在线推理接口封装工作。此外,还支持自定义镜像推送功能以便更好地适配不同业务场景下的特殊需求。 ```python import torch from transformers import AutoTokenizer, AutoModelForSequenceClassification tokenizer = AutoTokenizer.from_pretrained("path_to_model_directory") model = AutoModelForSequenceClassification.from_pretrained("path_to_model_directory") def predict(text_input): inputs = tokenizer(text_input, return_tensors="pt", truncation=True, padding=True) outputs = model(**inputs)[0] prediction = torch.argmax(outputs).item() return prediction ``` 上述代码片段展示了基于Transformers库加载预训练语言理解模型的一般方法,实际应用时应替换为具体的路径指向所要使用的豆包大模型位置。 #### 性能优化措施 考虑到云端执行效率问题,应当充分评估现有硬件条件基础上做出合理的架构设计决策。比如适当调整batch size大小、启用混合精度加速机制(FP16)或是引入多GPU协同工作机制等等都是有效提升吞吐量的方式[^2]。
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值