在数字化的浪潮中,数据和算法已成为推动创新的双轮驱动。对于许多热衷于探索人工智能深度的小伙们来说,本地部署大模型往往是一道难以逾越的门槛。它不仅需要昂贵的硬件支持,还伴随着复杂的配置和维护工作。但现在,SiliconCloud(硅基流动)平台的出现,为这一难题提供了全新的解决方案。
SiliconCloud,一个专为AI爱好者和开发者设计的云服务平台,它不仅提供了免费的使用机会,还支持调用10B以下的小模型,让每一位小伙伴都能轻松上手,无需担心环境的限制。
SiliconCloud的平台直接使用API调用相关的大模型,确保了模型运行的稳定性和高效性。这意味着,无论你身处何地,只要有网络连接,就能随时随地访问平台,进行模型的训练和测试。这种灵活性,极大地降低了使用门槛,让AI技术的探索变得更加触手可及。
其次,SiliconCloud通过简单的API接口,用户可以快速集成小模型到自己的项目中,实现各种智能化的功能。这种便捷的操作方式,不仅节省了大量的开发时间,还让非专业人士也能体验到AI的魅力。
更重要的是,SiliconCloud平台注重用户体验,提供了详尽的文档支持和社区交流。无论你在使用过程中遇到任何问题,都能在社区中找到答案,或是得到其他用户和专家的帮助。这种开放和共享的精神,让SiliconCloud不仅仅是一个服务平台,更是一个充满活力的AI技术交流社区。
对于那些没有环境本地部署大模型的小伙伴们来说,SiliconCloud无疑是一个理想的选择。它不仅解决了硬件和环境的限制,还提供了丰富的资源和支持,让你能够专注于模型的创新和应用。在这里,每一次尝试都是一次新的发现,每一次探索都能带来意想不到的惊喜。
总之,SiliconCloud(硅基流动)平台以其免费、高效、便捷的特点,正成为越来越多AI爱好者的首选。它不仅降低了人工智能技术的门槛,还激发了更多人对于AI技术的兴趣和热情。如果你也对AI充满好奇,渴望在智能化的世界中留下自己的足迹,那么不妨来SiliconCloud一试,开启你的AI之旅吧!
下面是本人在使用SiliconCloud平台的模版代码,我当时的任务是做零样本知识抽取,大家可以参考参考
使用代码的模版,通过替换此模版,能够直接使用SiliconCloud(硅基流动)的相应产品,很方便。
from openai import OpenAI
import json
client = OpenAI(api_key="你的cdkey", base_url="https://api.siliconflow.cn/v1")
#可选开源模型(免费) 网站:siliconflow.cn
"""
Qwen/Qwen2-7B-Instruct (32K)
Qwen/Qwen2-1.5B-Instruct (32K)
Qwen/Qwen1.5-7B-Chat (32K)
THUDM/glm-4-9b-chat (32K)
THUDM/chatglm3-6b (32K)
01-ai/Yi-1.5-9B-Chat-16K (16K)
01-ai/Yi-1.5-6B-Chat (4K)
internlm/internlm2_5-7b-chat-Instruct-v0.2 (32K)
google/gemma-2-9b-it (8K)
meta-llama/Meta-Llama-3-8B-Instruct (8K)
mistralai/Mistral-7B-Instruct-v0.2 (32K)
"""
# 示例数据
example = {
"id": 0,
"instruction": {
"instruction": "你是一个图谱实体知识结构化专家。根据输入实体类型(entity type)的schema描述,从文本中抽取出相应的实体实例和其属性信息,不存在的属性不输出, 属性存在多值就返回列表,并输出为可解析的json格式。",
"schema": [
{
"entity_type": "运动员",
"attributes": {
"运动项目": "体育运动中的特定活动或比赛。",
"主要奖项": "因卓越表现而获得的荣誉性奖项。",
"毕业院校": "人物所毕业的学校。",
"出生地": "人物出生的具体地点。"
}
}
],
"input": "叶乔波,女,1964年6月3日出生于吉林省长春市 。中国女子速滑运动员。北京冬奥组委运动员委员会委员 。 10岁进入长春市业余体校速滑班,12岁入选八一速滑队。1991年首次夺得500米短道速滑世界冠军;1992年获第十六届冬奥会两枚银牌 ,为中国冬季项目实现冬奥会上奖牌零的突破。同年在挪威举行的世界短距离速滑锦标赛上,获女子1000米速滑冠军,并夺得女子全能世界冠军,成为中国和亚洲第一个短距离速滑全能世界冠军;至1993年春季赛事结束,她共获得14个世界冠军,其中包括全部女子500米速滑金牌,创造了世界冰坛的“大满贯”战绩;1994年带伤夺得第17届冬奥会女子1000米速滑铜牌 ;冬奥会后因伤退役。1994年结束运动员生涯。 2000年清华大学经管学院毕业,少将(2006年晋升)。 2021年12月,由叶乔波等55位世界冠军共同唱响《我们北京见》MV发布。"
},
"output": {
"运动员": {
"叶乔波": {
"运动项目": "速滑",
"主要奖项": ["500米短道速滑世界冠军", "第十六届冬奥会两枚银牌", "女子1000米速滑冠军", "女子全能世界冠军", "全部女子500米速滑金牌", "第17届冬奥会女子1000米速滑铜牌"],
"毕业院校": "清华大学经管学院",
"出生地": "吉林省长春市"
}
}
}
}
# 从示例中获取"instruction"、"schema"和"input"的值
ex_instruction = example['instruction']
ex_output = example['output']
# 将这些值转换为一个可以发送给OpenAI的消息
ex_message = json.dumps(ex_instruction, ensure_ascii=False) + json.dumps(ex_output, ensure_ascii=False)
# 读取json文件
with open('new_output_deepseek_cot.json', 'r', encoding='utf-8') as file:
lines = file.readlines()
# 创建一个新的json文件
with open('new_output_deepseek_cot2.json', 'w', encoding='utf-8') as new_file:
# 遍历每一行
for line in lines:
# 解析JSON字符串
data = json.loads(line)
# 获取"instruction"字段的值
instruction = data['instruction']
yuan_output = data['output']
# 将"instruction"字段的值转换为一个可以发送给OpenAI的消息
message = '[INST] ' + instruction + '[/INST]'
# tmp = "You are a helpful assistant. 你是一个乐于助人的助手。按照要求输出内容,不要有多余的解释和输出,保留原文,输出前检查答案是否来自原文,补全上次的抽取结果,重新完成本次任务。样例为:" + ex_message + ' 上次抽取结果为:' + yuan_output + " 输入为" + message
# print(tmp)
# exit()
try:
# 使用OpenAI生成新的"output"
response = client.chat.completions.create(
model='Qwen/Qwen2-7B-Instruct',
messages=[
{"role": "user", "content": "You are a helpful assistant. 你是一个乐于助人的助手。按照要求输出内容,不要有多余的解释和输出,保留原文,输出前检查答案是否来自原文,补全上次的抽取结果,重新完成本次任务。样例为:" + ex_message + ' 上次抽取结果为:' + yuan_output + " 输入为" + message},
],
stream=True
)
except :
print(f"Skipped due to error: {data['id']}")
continue
# 获取生成的"output"
# new_output = response.choices[0].message.content
new_output = ''
for chunk in response:
if chunk.choices[0].delta.content != None:
new_output += chunk.choices[0].delta.content
# 去除 `json 和 `
new_output = new_output.replace('```json', '').replace('```', '')
print(new_output)
# exit()
# 将新的"output"添加到数据中
data['output'] = new_output
# 将数据写入新的json文件
new_file.write(json.dumps(data, ensure_ascii=False) + '\n')
# Skipped due to error: 334
推荐没有环境本地部署大模型的小伙伴们都来使用这个免费平台,调用api来使用10B以下的小模型