电商图片检索如何更精准?Amazon Bedrock构建解决方案轻松搞定!

电商行业企业对图片检索有诸多需求,如相似商品推荐、以图搜图、个性化推荐、自动标签生成、商品合规审核、竞品分析、库存管理等。利用图片检索解决方案可以提升用户体验、增加转化率、优化商品管理与库存并简化运营流程。

亚马逊云科技的Amazon Bedrock服务是利用基础模型构建和扩展生成式AI应用程序的极便捷方式。Amazon Bedrock提供对各种LLM模型的API灵活快速调用的能力。应用大模型,在图片检索场景中可以提供增强的能力,如电商细分品类图片精准检索能力,用户可自定义提示词利用大模型生成对图片的描述信息,提升偏向性的检索召回效率,还可自定义提示词对召回图片进行重新排序,更加精准地检索图片。

本文将详细介绍如何基于Amazon Bedrock结合Amazon Opensearch、Amazon S3、Amazon Lambda等服务快速构建端到端的图片解决方案。

不同业务形态对图片检索的需求

1.独立站:

电商独立站(eCommerce Independent Website)是指品牌或商家通过自建的独立电商平台进行产品销售,而非依赖于第三方电商平台(如亚马逊等平台)。这种方式让商家能够完全掌控自己的品牌形象、销售数据、定价策略和用户体验。通过自有网站,商家能够提供定制化的购物体验,积累用户数据,增强品牌忠诚度。

2.平台卖家:

平台卖家指那些通过大型第三方电商平台(如亚马逊等)进行产品销售的商家。这类卖家依托于电商平台自带的流量、支付系统、物流网络等基础设施,降低了自建网站的成本和复杂度,但也面临着许多平台化的限制。

3.服务商:

电商服务提供商是指那些为独立站和平台卖家提供技术、运营、营销、物流等解决方案的公司或机构。他们通常为电商业务的不同环节提供支持,例如建站服务、数字营销、仓储物流、客户服务外包等。

方案介绍

架构总览

关键技术及功能

1.电商细分品类图片精准检索能力:

  • 用户可自定义提示词利用大模型生成对图片的描述信息,提升偏向性的检索召回效率。

  • 可自定义提示词对召回图片进行重新排序,更加精准地检索图片。

  • 亚马逊云科技架构师团队可提供提示词参考,帮助不同品类客户要求定制,进一步检索能力。

2.使用业内先进低成本的大模型及存储服务:

  • 默认使用Amazon Titan Multimodal Embeddings模型,可将图片、文本在一个向量空间中向量化,提升联合文本和图片检索能力。

  • 默认Amazon Nova模型进行图片描述及重排序,可以精准捕获图片细节,提升检索准确性。Amazon Nova是亚马逊云科技提供的基础模型(FM),可提供前沿智能和行业领先的性价比,仅在Amazon Bedrock上提供。Amazon Nova Micro、Amazon Nova Lite和Amazon Nova Pro是接受文本、图像和视频输入并生成文本输出的理解模型,提供广泛的能力、准确性、速度和成本操作点。

3.插件式提供图片标注、重排序功能,灵活控制成本:

  • 成本构成:向量数据库Amazon OpenSearch、存储Amazon S3、大模型托管服务Amazon Bedrock、服务后端Amazon Lambda。

  • 可选图片描述标注、检索重排序功能,增强检索准确度。

方案实现与效果

您可以尝试电商多模态搜图解决方案Workshop,以帮助您更好地体验和理解此方案的实现和效果。整体功能详情如下图所示。

电商多模态搜图解决方案Workshop

https://catalog.us-east-1.prod.workshops.aws/workshops/6ded41c1-43b9-42a3-b248-fc342a84b1a4/zh-CN

搜索演示

业务逻辑

图片上传

提供API接口进行单张和最多100张图片的上传,部署方案后,可以通过UI或直接调用API进行图片上传。上传图片时,可选生成图片的精准描述,用户也可在源代码中修改提示词,获取更加贴近业务场景的关键描述信息,通过模型自动生成的描述信息也可以通过API或直接在UI进行修改。

后续,描述文本及图片将在一个通过多模态向量模型,在一个向量空间进行存储。实现文本+图片的多模态检索。

图片检索

同样提供API接口可以分别通过文字、图片、文字+图片进行图片检索。对于纯文本或图片检索,通过语义相近返回近似结果,并且按匹配度进行排序。对于文本+图片结合的图片检索,可以开启重排序功能,提供文字细节描述检索图片,增强检索准确度。

重排序

由于复杂语义关系的限制,使用embedding做初始检索可能并不总是按真正的相关性顺序对文档进行排名。Rerankers通过根据更复杂的相关标准进行重新评估和重新排序这些结果来优化。

利用具有多模态功能的LLM在RAG系统中进行重新排序可以产生更准确和上下文感知的检索结果,从而提高信息检索系统的有效性和用户体验。

生成优化建议

利用Amazon Bedrock Batch API

处理大批量图片存储

在实际场景中,企业往往已经有一个图库,需要一次性载入。而直接通过API上传,因为需要每次调用单次大模型推理,效率较低且成本会高。Amazon Bedrock可以使用批处理API,更有效地使用FM进行推理,并且能够汇总响应并对其进行批量分析。

在方案中提供了脚本,可以从Amazon S3桶中,将图片批量向量化载入Amazon Opensearch服务中。

优化描述生成的提示词及重排序的提示词

以适应实际业务

用户可以通过自定义提示词,利用大模型生成图片的描述信息,从而提升偏向性的检索召回效率。此外,用户还可以通过自定义提示词对召回的图片进行重新排序,实现更加精准的图片检索。用户也可以联系亚马逊云科技架构师团队,获取提示词的参考,以满足不同品类客户的需求,并进一步优化检索能力。

成本优化

您可以从以下几个方面在生产过程中优化本方案的成本。

  • 模型PE调优,减少token调用;

  • 优化图片检索效率,测试不同图片分辨率下,标签生成及reranking的效果。

  • 使用Batch调用模型,批量生成图片描述。

  • 使用托管的Amazon Opensearch Graviton实例或Serverless集群替换,选择更优成本的向量数据库规格。

本篇作者

李方怡

亚马逊云科技解决方案架构师,负责基于亚马逊云的云计算方案架构咨询和设计,致力于亚马逊云科技云服务在创新增长客户群体中的推广,在Serverless领域有丰富经验。

庄颖勤

亚马逊云科技解决方案架构师,负责基于亚马逊云科技的云计算方案架构设计、咨询、实施等工作。在 DevOps、CI/CD和容器等领域拥有丰富的技术和支持经验,致力于帮助客户实现技术创新和业务发展。

柯俊雄

亚马逊云科技解决方案架构师,专注于数据分析、容器化领域。

张鑫

亚马逊云科技解决方案架构师,负责基于亚马逊云科技云平台的解决方案咨询和架构设计,在软件系统架构、数仓和实时及离线计算领域有丰富的研发和架构经验。致力于结合数据开源软件与亚马逊云科技云原生服务组件构建高可用数据架构的实践探索。

星标不迷路,开发更极速!

关注后记得星标「亚马逊云开发者」

听说,点完下面4个按钮

就不会碰到bug了!

点击阅读原文查看博客!获得更详细内容!

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值