[论文笔记] EcomGPT：COT扩充数据的电商大模型

已于 2024-04-23 17:21:40 修改
阅读量722 收藏
点赞数
分类专栏： 论文笔记 文章标签： 论文阅读
于 2024-04-23 16:59:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Trance95/article/details/138126037
版权
EcomGPT是基于EcomInstruct指令数据集构建的电商大模型，通过COT方式分解垂域任务为原子任务，增强模型泛化能力。数据集由开源NLP数据和电商基本数据类型构成，通过任务简化、任务反转和样本重组等策略构建原子任务，以ChatGPT生成伪标签扩充指令数据。
摘要由CSDN通过智能技术生成
了解本专栏 订阅专栏 解锁全文 超级会员免费看
心心喵
关注
专栏目录
订阅专栏
EcomGPT:Instruction-tuning large lanuage models with chain-of-task tasks for e-commerce
liguandong
10-09 254
2.确定了常见的几种基本数据类型，包括产品信息，用户评论，用户对话进而搜索查询。1.任务简化，调整模型的输入和真实标签，2.任务反转，对于一些原始任务，可以交换模型的输入和输出顺序来构建新任务，例如，可以从问答任务重构建一个问题生成任务，而根据产品标题生成产品描述的任务可以转换为一个标题生成任务，3.样本重组合，可以利用数据集中多个样本的信息来形成一个新的样本，例如，基于给定两个产品标题和属性的产品匹配任务，可以对这些样本中的产品标题和属性进行分割和洗牌，构建一个匹配产品标题和产品属性的任务。
​EcomGPT：指令微调的电商领域大模型
Kaiyuan_sjtu的博客
09-03 385
论文链接：https://arxiv.org/abs/2308.06966GitHub链接：https://github.com/Alibaba-NLP/EcomGPT今天给大家介绍下我们在训练电商领域大模型方面的尝试。希望对研发相关或其他领域大模型的工作有所帮助。也欢迎大家给我们提供宝贵意见。为什么需要领域大模型？有观点认为，通用大模型训练过程中，已经用到来源广泛、规模惊人的训练数据，其中必然包...
推荐使用：EcomGPT - 跨越电子商务的指令型大型语言模型
gitblog_00029的博客
06-02 356
推荐使用：EcomGPT - 跨越电子商务的指令型大型语言模型 项目地址:https://gitcode.com/Alibaba-NLP/EcomGPT 在当前的AI领域中，EcomGPT是一款专为电子商务设计的创新性大型语言模型。基于最新的研究论文《EcomGPT：利用任务链对电子商务大型语言模型进行指令微调》（arXiv:2308.06966），这个项目旨在提升AI在处理电商平台数据时的理解和...
【LLM模型篇】LLaMA2 | Vicuna | EcomGPT等
发现问题，并解决问题，批判性思维
09-02 3350
EcomGPT：电商领域大模型 解决问题：解决电商场景任务（如品牌识别，评价解析，广告文案生成等） 论文链接：https://arxiv.org/abs/2308.06966 GitHub链接：https://github.com/Alibaba-NLP/EcomGPT 1. sft数据 从学术论文或竞赛平台等开放数据源收集了共65个各种电商任务数据集，包括命名实体识别、评论问答、商品类目预测、多轮对话等传统的自然语言处理任务。这些开源数据集的任务都是由领域专家设计，然后由受过培训的人工标注，数据质量很高
浅谈大模型私有化+精调：面向垂直行业与特定场景之需
ytt0523_com的博客
05-15 1215
大模型私有化（Model Private Deployment）指的是将预训练的大型人工智能模型（如GPT、BERT等）部署到企业自己的硬件环境或私有云平台上。与公有云服务或模型即服务（Model-as-a-Service）相比，私有化部署能够给企业带来更高级别的数据安全性和自主控制能力。对数据隐私和安全要求高、需要自主控制AI模型运行环境的企业而言，或者在特定地理位置因法律法规限制不能使用公有云服务的情况下，这种需求是确实存在的。
整理了上百个开源中文大语言模型，涵盖模型、应用、数据集、微调、部署、评测_基于大语言模型的网络自动配置平台的设计与开发
2401_84208172的博客
07-24 1638
自ChatGPT为代表的大语言模型（Large Language Model, LLM）出现以后，由于其惊人的类通用人工智能（AGI）的能力，掀起了新一轮自然语言处理领域的研究和应用的浪潮。尤其是以ChatGLM、LLaMA等平民玩家都能跑起来的较小规模的LLM开源之后，业界涌现了非常多基于LLM的二次微调或应用的案例。本项目旨在收集和梳理中文LLM相关的开源模型、应用、数据集及教程等资料，目前收录的资源已达100+个！
LLM资料大全：文本多模态大模型、垂直领域微调模型、STF数据集、训练微调部署框架、提示词工程等
丨汀、的博客
04-30 400
LLM资料大全：文本多模态大模型、垂直领域微调模型、STF数据集、训练微调部署框架、提示词工程等
全网国内外总结Prompt&LLM论文，开源数据&模型，AIGC应用（持续更新，收藏查看）
代码讲故事
03-20 1966
全网国内外总结Prompt&LLM论文，开源数据&模型，AIGC应用（持续更新，收藏查看）
链式思考（CoT）在数学与符号推理任务上对大型语言模型的有效性研究
09-23
内容概要：本研究通过广泛的元数据分析表明，在涉及数学或符号推理的任务中，利用CoT方法来提高大型语言模型的能力尤其有效。此外，在某些特定问题中将CoT分解为规划与执行两部分时发现，大部分性能提升来自于改善...
论文笔记 | ICLR 2023 ReAct：通过整合推理和行动来增强语言模型
叶庭云 成为自己的光
12-19 1779
论文笔记 | ICLR 2023 ReAct：通过整合推理和行动来增强语言模型
CoT: 思路链提示促进大语言模型的多步推理
pku_langzi的博客
11-04 1001
Google brain思维链路开山之作
OpenAI发布PVG：用小模型验证大模型输出解决“黑盒”难题，韩国团队拆分Transformer注意力让大模型解码提速20倍，微软、OpenAI、英特尔、谷歌、英伟达，成立开源大模型安全联盟
代码讲故事
07-31 290
OpenAI发布PVG：用小模型验证大模型输出解决“黑盒”难题，韩国团队拆分Transformer注意力让大模型解码提速20倍，微软、OpenAI、英特尔、谷歌、英伟达，成立开源大模型安全联盟。
论文阅读笔记-How to Fine-Tune BERT for Text Classification?
最新发布
mohen_777的博客
10-06 642
预训练语言模型BERT的最后一层较于其他层来说更加有助于分类合适的学习率和层宽有助于BERT的catastrophic forgetting使用任务语料或者同域语料进行further pre-training效果更好哦是在任务语料太少，混入跨领域数据也可，但是效果并不明显哦。
论文笔记：Anytime Continual Learning for Open Vocabulary Classification
weixin_47505105的博客
10-01 592
在开放词汇表图像分类中，随着时间的推移，模型需要不断学习新的标签，同时保留对旧标签的记忆。
论文阅读笔记-LogME: Practical Assessment of Pre-trained Models for Transfer Learning
mohen_777的博客
10-06 755
在NLP领域，预训练模型（准确的说应该是预训练语言模型）似乎已经成为各大任务必备的模块了，经常有看到文章称后BERT时代或后XXX时代，分析对比了许多主流模型的优缺点，这些相对而言有些停留在理论层面，可是有时候对于手上正在解决的任务，要用到预训练语言模型时，面对烟火缭乱的语言模型，需要如何挑选合适的模型应用到任务上来。一个非常直接的方法就是把每一个候选模型针对任务都做一遍微调，因为微调涉及到模型训练，时间至少几个小时起步。
GS-SLAM论文阅读笔记-MGSO
qq_45795134的博客
10-04 867
然而，现有的基于3dgs的SLAM系统难以平衡硬件简洁性、速度和地图质量。大多数系统在上述的一个或两个方面表现出色，但很少能做到全部。一个关键问题是在同时进行SLAM时初始化高斯的困难。传统上，SLAM系统提供语义差的地图表示，对定位和基本导航有效，但缺乏复杂任务所需的细节。解耦的稠密地图SLAM一个关键挑战是SLAM和密集重建组件之间缺乏协同作用。SLAM算法往往不能为高质量的密集重建提供最优数据，从而影响系统的整体性能。
Frequency-aware Feature Fusion for Dense Image Prediction 论文阅读
weixin_51657614的博客
10-01 478
为了实现这一点，现代分层模型通常利用特征融合，直接添加来自深层的上采样粗特征和来自较低层次的高分辨率特征。在本文中，我们观察到融合特征值在对象内的快速变化，由于高频特征的干扰导致类别内不一致。此外，融合特征中模糊的边界缺乏准确的高频，导致边界位移。ALPF生成器预测空间变化的低通滤波器，以衰减对象内的高频组件，减少上采样期间的类内不一致。偏移量发生器通过重采样将不一致的特征替换为更一致的特征来细化大的不一致特征和细边界，而AHPF发生器增强了下采样过程中丢失的高频详细边界信息。
车辆重识别（2021NIPS在图像合成方面，扩散模型打败了gans网络）论文阅读2024/10/01
vegetabler的博客
10-01 495
向分类器中输入xt，发现与真实类别匹配概率小，计算对xt的梯度，让xt以一定的包含梯度的步幅进行移动，使得匹配概率增加。其实这里有点像之前卷积神经网络中参数w更新的原理，w也是在梯度方向上移动，以此来使得loss值最小。但是这两种算法不是简单的对xt进行处理，①是对预测的均值μ进行处理，让均值μ在梯度方向上移动。另外，s可以叫做学习率，主要是控制在梯度方向上移动的步幅，和之前卷积神经网络中的w更新公式中的学习率差不多。2，那么具体来说，如何根据当前时刻xt的梯度，来调整xt？BigGAN残差块是什么意思？
OpenAI新论文挑战DeepMind：大模型复杂推理需逐步验证
OpenAI最近发布了一篇名为《Let's Verify Step by Step》的论文，该论文对谷歌DeepMind的某些研究方法提出了挑战，特别是在处理大模型复杂推理方面。OpenAI认为，与DeepMind去年11月的工作不同，他们采用了一种更为...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

心心喵

喵喵(*^▽^*）

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值