![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大模型
文章平均质量分 92
Alexa2077
这个作者很懒,什么都没留下…
展开
-
科大讯飞-群聊对话角色要素提取:lora微调范式
{‘instruction’: ‘假设你是一个智能交互助手,基于用户的输入文本,解析其中语义,抽取关键信息,以json格式生成结构化的语义内容。这里的验证数据我们以csv文件存储,有input和target两列,由于我们没有这些数据的真实标签,我这里将target列设置为’-'。好了我们来说说prompt。通过总结后的数据一方面节约了微调的运算资源,一方面也让数据被清洗后更容易被模型理解,达到更好的抽取效果。代码比较鲁棒的,使用try, except,的方式,避免了遇到错误后,后面的样例无法运行的情况。原创 2024-07-07 23:22:06 · 825 阅读 · 0 评论 -
科大讯飞-群聊对话角色要素提取:不微调范式模拟官网评分
比赛说明:主要参考datawhale夏令营活动:零基础入门大模型技术竞赛。连接:https://datawhaler.feishu.cn/wiki/VIy8ws47ii2N79kOt9zcXnbXnuS比赛网址:说明:- 1,主要适用于不微调的范式。- 2,针对每次在修改prompt,或者COT之后,想要查看性能如何时,都要提交到官网等待。但是受限于官网每个人每天只能提交3次,无法得到更多的反馈。原创 2024-07-07 22:01:08 · 828 阅读 · 0 评论 -
PEFT:参数高效微调及hg工具
参数高效微调(PEFT)是自然语言处理(NLP)中使用的一种技术,用于提高预训练语言模型在特定下游任务上的性能。它涉及重用预训练模型的参数并在较小的数据集上对其进行微调,与从头开始训练整个模型相比,这可以节省计算资源和时间。PEFT 通过冻结预训练模型的某些层并仅微调特定于下游任务的最后几层来实现这种效率。这样,模型就可以以更少的计算开销和更少的标记示例来适应新任务。尽管 PEFT 是一个相对新颖的概念,但自从引入迁移学习以来,更新最后一层模型已经在计算机视觉领域得到实践。原创 2024-06-17 23:20:01 · 889 阅读 · 0 评论 -
基于llama3-8B-instruct的调用部署以及lora微调
LoraConfig这个类中可以设置很多参数,但主要的参数没多少,简单讲一讲,感兴趣的同学可以直接看源码。原创 2024-06-17 23:12:53 · 1676 阅读 · 5 评论 -
大模型微调调研
经典的Fine tuning就是 算是叫做继续训练?经典的Fine tuning方法包括将预训练模型与少量特定任务数据一起继续训练。在这个过程中,预训练模型的权重被更新,以更好地适应任务。所需的Fine-tuning量取决于预训练语料库和任务特定语料库之间的相似性。如果两者相似,可能只需要少量的Fine tuning。如果两者不相似,则可能需要更多的Fine tuning。与Prompt不同,Instruction通常是一种更详细的文本,用于指导模型执行特定操作或完成任务。原创 2024-05-21 18:08:41 · 845 阅读 · 0 评论 -
基于百度千帆的大模型应用:英文助教Alex
有眼睛,能够识别手写字体,输入。直接就能发布,并且生成链接,可以随时访问。你可以进行连续的询问,这就是接入百度搜索之后的优势。可以通过外部的知识库,补全对于单词的理解。当用户让应用出题后,模型会根据任务出题,并不给出答案,在用户作答后,再进行评判点评。需要某种偏驱动组件的话,才能让大模型调用组件,跟你进行交流。0,根据学生的情况,针对性的为学生提供英语学习建议。这里通过使用已经录好的语句,上传上去进行识别。根据单词的意思,生成英文短文,并给出中文翻译。语音输入的分析的组件,识别的性能不是很好。原创 2024-05-19 20:38:02 · 1289 阅读 · 0 评论 -
Prompt Engineering ,Fine-tuning , RAG ?
Q1:假如我想搞一个自己的知识库助手,选择那种方式比较合适?A1: 以我目前的了解来看,假如只是在微调和RAG里面选择。我会主要看个人需求。RAG适用于知识需要快速更新的领域,对实时性要求不是特别高的应用场景。微调适合的领域为数据量较小但质量高的领域。对模型效果有较高要求,且可以承担相应计算资源消耗的场景。领域知识比较独特,需要模型深入学习的场景。所以,假如你想要做一个简单的智能知识助手,不要求精准度,而且以个人使用为主,那我建议你可以使用rag技术。原创 2024-05-14 00:44:36 · 1127 阅读 · 0 评论 -
微调 or RAG ?
Q1:假如我想搞一个自己的知识库助手,选择那种方式比较合适?A1: 以我目前的了解来看,假如只是在微调和RAG里面选择。我会主要看个人需求。RAG适用于知识需要快速更新的领域,对实时性要求不是特别高的应用场景。微调适合的领域为数据量较小但质量高的领域。对模型效果有较高要求,且可以承担相应计算资源消耗的场景。领域知识比较独特,需要模型深入学习的场景。所以,假如你想要做一个简单的智能知识助手,不要求精准度,而且以个人使用为主,那我建议你可以使用rag技术。转载 2024-05-14 00:25:44 · 152 阅读 · 0 评论 -
chatgpt新版本api的调用
新版本就是把ChatCompletion变成了chat.completions。由于我的api已经使用完了,所以可以某宝上买一个api_key,直接使用;但是现在api的调用改版了,需要使用新的调用方式,也很简单。原创 2024-03-02 10:21:56 · 3872 阅读 · 0 评论 -
langchain 组件详解
定义在用于发出请求的 call() / run() / apply() 方法中,例如 chain.call(inputs, callbacks=[handler]) ,它将仅用于该特定请求,以及它包含的所有子请求(例如,对 LLMChain 的调用会触发对 Model 的调用,该 Model 使用 call() 方法中传递的相同 handler)。因此,在本节中我们将介绍 LangChain 中的记忆模块,即如何将先前的对话嵌入到语言模型中的,使其具有连续对话的能力。因此大模型能给出的答案比较受限。转载 2023-12-04 16:15:26 · 448 阅读 · 0 评论 -
基于Gradio的快速搭建AI算法可视化Web界面部署教程
视图框架:快速构建针对人工智能的 python 的 webApp 库,封装前端页面 + 后端接口 + AI 算法模型推理优势在于易用性,代码结构相比 Streamlit 简单,只需简单定义输入和输出接口即可快速构建简单的交互页面,更轻松部署模型。适合场景相对简单,想要快速部署应用的开发者;优势在于可扩展性,相比 Gradio 复杂。适合场景相对复杂,想要构建丰富多样交互页面的开发者。Gradio是一个开源的Python库,用于快速构建机器学习和数据科学演示的应用。原创 2023-12-04 16:10:27 · 3668 阅读 · 3 评论 -
Gradio 搭建人工智能交互界面v1
Gradio 可以包装几乎任何 Python 函数为易于使用的用户界面。应用界面:gradio.Interface(简易场景), gradio.Blocks(定制化场景)输入输出:gradio.Image(图像), gradio.Textbox(文本框), gradio.DataFrame(数据框), gradio.Dropdown(下拉选项), gradio.Number(数字), gradio.Markdown(Markdown), gradio.Files(文件)控制组件。转载 2023-11-27 15:31:44 · 1668 阅读 · 2 评论 -
知识库文档处理
本项目是一个个人知识库助手项目,旨在,回答用户问题。个人知识库应当能够支持各种类型的数据,支持用户便捷地导入导出、进行管理。在我们的项目中,我们以 Datawhale 的一些经典开源课程作为示例,设计了多种文件类型,介绍每一种文件类型的处理方式,从而支持用户无难度地构建自己的知识库。原创 2023-11-22 00:12:32 · 584 阅读 · 0 评论 -
2.3 调用智谱 API
智谱 AI 是由清华大学计算机系技术成果转化而来的公司,致力于打造新一代认知智能通用模型。公司合作研发了双语千亿级超大规模预训练模型 GLM-130B,并构建了高精度通用知识图谱,形成数据与知识双轮驱动的认知引擎,基于此模型打造了 ChatGLM(chatglm.cn)。ChatGLM 系列模型,包括 ChatGLM-130B 和 ChatGLM-6B 模型,支持相对复杂的自然语言指令,并且能够解决困难的推理类问题。原创 2023-11-18 22:40:18 · 21048 阅读 · 21 评论 -
2.2 调用星火大模型的API
讯飞星火认知大模型,由科大讯飞于2023年5月推出的中文大模型,也是国内大模型的代表产品之一。同样,受限于中文语境与算力资源,星火在使用体验上与 ChatGPT 还存在差异,但是,作为与文心不分伯仲的国内中文大模型,仍然值得期待与尝试。相较于存在显著资源、技术优势的百度,科大讯飞想要杀出重围,成为国内大模型的佼佼者,需要充分利用相对优势,至少目前来看,星火并未掉队。同时,不知道是否因为讯飞 API 还没有全面开放,讯飞 API 的测试使用效果比文心更好,值得期待。目前,讯飞星火大模型 API 已进入。原创 2023-11-18 22:31:59 · 2420 阅读 · 4 评论 -
3 任务3 使用趋动云部署自己的stable-diffusion
当然,你也可以把你的端口信息发送给别人,或者发送到手机上用浏览器打开,一样也可以使用。运行初始化中,等待约5-10分钟,当右侧的网页终端和JupyterLāb不再是灰色时,表明工具注入成功。访问这个网址时,会出现一个登录页面,账号qdy密码123456。4.待项目信息完善后,点击确定,弹出框选择暂不上传。,请确保当前所在空间是注册时系统自动生成的空间。2.点击:快速创建,选择创建项目,创建新项目。3,填写相关的项目信息,镜像及数据集选择如下。镜像和数据集选择完毕之后,点击"创建"原创 2023-11-08 11:40:20 · 802 阅读 · 0 评论 -
2 任务2: 使用趋动云GPU进行猫狗识别实践
使用趋动云提供的免费GPU,进行猫狗识别实践。虽然例程里面提供的是基于tensorflow的,但是你也可以使用pytorch的代码使用这个平台的一个优点就是方便,各种环境等等应有尽有;还有一些常见的数据集。原创 2023-11-07 20:01:02 · 320 阅读 · 0 评论 -
任务1 部署ChatGLM3-6B大模型并进行对话测试
本项目是根据datawhale 与 趋动云平台联合 联合的项目,本文主要在于学习和了解使用大模型。使用的大模型是 ChatGLM3-6B, 这是智谱AI和清华大学KEG实验室联合发布的新一代对话预训练模型。整体平台感觉还是非常好用的,方便模型的部署。原创 2023-11-04 20:47:47 · 837 阅读 · 0 评论