前言
在之前文章中我们通过Python实现了爬虫,并成功爬取了网页的html数据
那么本篇文章将为您介绍通义千问API的特点和功能,并分享如何利用它来提升数据分析能力,让数据分析插上AI的翅膀,驶向更广阔的天空。
通义千问API
通义千问API就是一个将AI技术与数据分析完美结合的产品,它可以帮助用户快速从海量数据中提取有价值的洞见,为各行各业的决策提供强有力的支持
我们如果想使用通义千问的API有以下步骤
- 注册阿里云账号:如果你还没有阿里云账号,首先需要注册并登录。
- 创建API密钥:登录阿里云控制台,访问相应的API管理界面,创建API密钥(Access Key ID 和 Access Key Secret)
- 了解API文档:查阅通义千问的官方API文档,了解可用的API接口、请求参数、响应格式等信息。
- 安装必要的依赖库:如果你使用的是特定的编程语言,比如Python,你可能需要安装像
requests
这样的库来发送HTTP请求。 - 编写代码调用API
- 处理响应
- 错误处理
首先你需要有一个阿里的账号
接下来我们来到模型服务灵积-总览 (aliyun.com)
生成通义千问的api_key,并保存好api_key
接下来我们就需要去编写代码了
首先安装对应的库
# 安装通义千问依赖
!pip install dashscope
接下来编写prompt
prompt = f"""
{movies}
这是一段电影列表的html,请获取电影名(name)、封面链接(picture)、简介(info)、评分(score),评论人数(commentsNumber),
请使用括号的单词名作为属性名,以json数组的格式返回
"""
现在我们有了调用的必须的几样东西了,api_key、propmt、依赖、要处理的数据
要处理的数据是之前通过爬虫爬取的豆瓣网页的html数据
接下来我们就去调用通义处理数据了
import dashscope
#api_key
dashscope.api_key = "sk-xxxxxxxxxxxxxxxxxxxxxxxx"
def call_qwen_with_prompt(prompt):
messages = [{
'role':'user',
'content':prompt
}]
response = dashscope.Generation.call(
dashscope.Generation.Models.qwen_turbo,
messages=messages,
result_messages = 'message'
)
print(response)
return response
call_qwen_with_prompt(prompt)
现在我们来逐步分析一下这段代码
import dashscope
这行代码导入了 dashscope
库,这个是用于与通义千问去交互的一个库
#api_key
dashscope.api_key = "sk-xxxxxxxxxxxxxxxxxxxxxxxx"
这行代码设置了 Anthropic API 的 API 密钥,这是验证你请求的必需项。你需要将 "sk-xxxxxxxxxxxxxxxxxxxxxxxx"
替换为你自己的 API 密钥
def call_qwen_with_prompt(prompt):
messages = [{
'role':'user',
'content':prompt
}]
response = dashscope.Generation.call(
dashscope.Generation.Models.qwen_turbo,
messages=messages,
result_messages = 'message'
)
print(response)
return response
call_qwen_with_prompt(prompt)
这部分定义了一个名为 call_qwen_with_prompt
的函数,该函数接受一个 prompt
参数。
在函数内部:
-
创建了一个包含单个消息的列表
messages
。这个消息有两个键:‘role’和’content’。‘role’被设置为’user’,表示这是用户提供的提示。'content’被设置为传递给函数的prompt
参数。 -
调用
dashscope.Generation.call()
方法,传递以下参数:dashscope.Generation.Models.qwen_turbo
: 指定要使用的语言模型为qwen_turbo
。messages=messages
: 将前面创建的messages
列表传递给该参数。result_messages='message'
: 指定将返回单个消息作为结果。
-
打印出返回的响应。
-
返回响应。
可以看到我们在控制台中就成功的获取到了处理以后的数据
总结
本文通过使用通义千问的API将爬虫爬取的网页html数据进行处理成我们想要的数据格式
希望通过本文能够让你有所收获!!!
如何学习AI大模型?
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段: 从大模型系统设计入手,讲解大模型的主要方法;
第二阶段: 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用;
第三阶段: 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统;
第四阶段: 大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统;
第五阶段: 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型;
第六阶段: 以SD多模态大模型为主,搭建了文生图小程序案例;
第七阶段: 以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。
👉学会后的收获:👈
• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;
• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;
• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;
• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。
1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集
👉获取方式:
😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓