构建和运营海外电商独立站的问题和解决方案

关键字: [亚马逊云科技出海日2024, 海外电商独立站建设, 数据智能化服务, 云原生大数据平台, 资源弹性计算, 全球一体化基础设施]

本文字数: 3100, 阅读完需: 16 分钟

导读

演讲者在2024年亚马逊云科技出海日上发表了题为”构建和运营海外电商独立站的问题和解决方案”的演讲。在这个演讲中,演讲者讨论了如何通过云原生大数据平台解决企业出海时面临的数据智能化基础设施建设问题;具体解释了传统方式存在多云多套产品、启动成本高、运维成本高、场景复用困难等问题,以及如何通过云栖科技与亚马逊云科技合作提供的可托付云上数据平台来解决这些问题。该演讲重点阐述了该平台如何实现零启动成本、资源弹性供给、多租户安全合规、全球统一开发体验、AI赋能等优势,使企业能够聚焦业务发展而无需关注底层基础设施建设。这是一场由云栖科技与亚马逊云科技联合举办的演讲。

演讲精华

以下是小编为您整理的本次演讲的精华，共2800字，阅读时间大约是14分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。

亚马逊云科技助力智能设备全价值链创新

在这场精彩的演讲中,石静猛先生作为云栖科技公司的解决方案负责人,向我们全面介绍了亚马逊云科技如何助力智能设备全价值链创新。石静猛先生拥有多年的大数据行业从业经验,之前在阿里巴巴的计算平台事业部从事大数据产品的研发、生产和交付工作。

石静猛先生首先感谢在场的观众们的耐心聆听,并对前几位亚马逊老师的介绍表示感谢,因为他们介绍的内容,如安全合规、市场营销以及资源弹性计算、S3存储等,都被云栖科技公司的产品所使用。这些分享让石静猛先生的演讲变得更加简单,观众们也能更好地理解相关内容。

接下来,石静猛先生介绍了云栖科技公司的业务范围。云栖科技是一家与亚马逊联合创办的数字原生企业,主要服务对象是出海企业。云栖科技本身提供的是一个数字化基础设施建设服务,专注于软件行业的数字化基础建设。值得一提的是,云栖科技完全自主研发了一套云原生的大数据平台,这是一套纯自研的、不是基于任何开源产品包装而来的平台。

在正式介绍公司产品之前,石静猛先生简单地介绍了自己的背景。他表示自己是一个大数据行业的从业者,之前在阿里巴巴的计算平台事业部从事大数据产品的研发、生产和交付等工作,拥有多年的相关经验。

回到主题,石静猛先生解释说,如果一家企业想要出海,并且拥有数据资产,希望通过数据进行二次加工分析并再产生价值,那么云栖科技提供的数字化技术建设服务就非常适合。

为了更好地阐述公司产品,石静猛先生采用了一种传统的思路,即首先提出行业现状和问题,分析问题的根源,然后介绍云栖科技与亚马逊联合提供的解决方案,最后通过一个案例进行说明。

石静猛先生指出,对于一家出海企业来说,出海意味着可能需要使用多个云服务,如国内的阿里云或腾讯云,以及亚马逊云科技等国外云服务。这意味着企业可能需要在多个云上运行多套产品,包括多套大数据产品。不同的产品可能带来不同的开发体验,如SQL方言、Java版本等的差异,还会带来多套运维体系,以及安全合规问题。

这些问题意味着什么呢?石静猛先生用一个横线图解释了业务发展与资源消耗之间的关系。理想情况下,我们希望资源消耗成本能够随着业务线性增长而增长。但实际情况是,当业务还很小的时候,启动成本就很高,可能需要花费30万元的启动成本。当增加一个新的场景时,启动成本就会再增加一份。大数据行业的应用场景非常多,如离线加工、实时加工、实时分析检索、AI应用等,每增加一个新场景,传统方式就需要增加一套新的产品组合,导致成本急剧增加。

另一个问题是,当企业开始应用这些场景时,国内的最佳实践和经验很难复制到国外,因为产品不同,需要重新开发,开发运维成本都很高。第三个问题是运维成本高,需要在不同国家部署运维团队。在这个大框架下,企业还必须满足安全合规的要求。

那么,如何解决这些问题呢?如何在海外建立一个数据智能化服务,让企业能够聚焦业务,不被底层基础设施问题所困扰,并且成本低廉?石静猛先生总结了企业的需求:是否有人能够提供一个企业级服务,该服务的成本能够完全贴合业务发展,业务量小时成本就低,能够零成本启动,随着业务增长而增长。同时,运维由服务商全部托管,安全合规得到保障,能够使用亚马逊提供的专业技术,支持多种数据业务应用场景,如BI报表、AI应用等,并且只需要在一个平台上就能做到这一切。如果能够实现全球一套基础设施,国内和国外的体验一致,那就是一个理想化的基础设施,企业可以快速搭建数字化基础设施,聚焦业务发展。

围绕这一需求,云栖科技与亚马逊联合共创了一个名为”可托付的云上数据平台”。石静猛先生原本想多介绍一些关于合规能力和稳定性的内容,但由于前面的亚马逊同事已经介绍得非常专业,他就不再赘述。他强调,业界有调研显示,在出海乃至国内,业务稳定性和安全合规都是企业头疼的问题,影响程度很大,占比都非常高。云栖科技与亚马逊的合作,就是让亚马逊提供经过充分验证的稳定性和合规管理能力,这是客户无需关注的底层能力。

那么,云栖科技和亚马逊云科技的合作到底带来了什么呢?首先,亚马逊云科技是全球最领先的云基础设施提供商,而云栖科技则是一套完整的纯自研、采用最新一代架构的大数据平台。云栖科技声明,这个平台不是基于任何开源产品包装而来,而是从头到尾使用C++代码自主研发的,包括存储、计算引擎、调度系统、元数据管理等,完全是纯自研的。

这样做的好处是,自研代码可以与云深度融合集成,充分理解和利用云的基础能力。这种深度融合体现在几个方面:

首先是更极致的资源弹性。正如前面介绍的那样,资源弹性是非常重要的。云栖科技可以做到零启动成本,计算资源供给无限贴近业务需求。具体来说,当你运行一个SQL任务进行数据处理时,只需要花费所需的资源,不运行时则不消耗资源,一分不花。这与传统方式的区别在于,传统方式需要预先购买并持有一个大集群,无论是否使用都需要先买资源。云栖科技的解决方案能够实现真正的资源弹性,这不仅依赖于软件架构,更需要与云底座深度集成,调用云的API,利用其弹性能力。当资源水位紧张时自动扩容,资源不足时自动扩展,实现精细的库存管理。通过这种方式,企业可以零成本启动,资源使用完全贴合业务需求,需要多少就用多少。

第二个优势是Everything as a Service的架构。所谓Everything as a Service,是指从底层数据、集群资源、数据源、数据管理到上层应用,云栖科技的大数据平台采用了分离架构。底层数据存储在S3上,实现数据共享,支持多租户系统。资源也被抽象出来,可以灵活分配给不同业务、不同用户使用。在安全方面,云栖科技发挥了亚马逊云基础设施的安全保障体系,可以在亚马逊主账号体系下提供多种安全级别的选择,如SaaS模式或VPC模式。数据存储的持久化、S3容器服务的稳定性等,都为数据安全提供了保障。

此外,云栖科技的解决方案还提供了高可靠的服务体系,以及全域的SLA保证。所谓全域SLA保证,是因为企业级服务的SLA保证往往与底座的稳定性密切相关。得益于亚马逊本身的稳定性保证,云栖科技可以在亚马逊云上提供非常高的SLA,这是从硬件层面贯穿至上层的端到端保证。

总的来说,云栖科技与亚马逊的深度融合,能够充分发挥存储资源和计算资源的效能。

对于出海企业来说,云栖科技的解决方案带来了以下优势:首先,无论是多云还是多区域,甚至跨国内外,企业都不需要改变技术架构就能出海,解决了底层问题。对于开发人员和业务人员来说,只需面对一个平台、一种开发体验。其次,这是一个完全企业托管、无忧可托付的解决方案,企业无需管理运维,运维成本由云栖科技承担,如在海外开服时会提供当地运维人员服务。再者,所有服务都是云原生的,都具有弹性,可以线性扩展。此外,该解决方案已上架Amazon Marketplace,开箱即用。最后,除了高性能、低成本、支持多场景等自身优势外,云栖科技的解决方案还纳入了亚马逊提供的安全、合规认证等能力。

接下来,石静猛先生介绍了云栖Linker在亚马逊平台上的架构。在底层,它采用了纯原生的S3存储,使用EKS容器化服务实现资源弹性,并使用数据库管理元数据等。在上层,云栖科技自研了一套存储体系,兼容POSIX文件存储、S3对象存储标准等,并自研了元数据管理体系。基于EKS容器化服务,云栖科技定制了一种称为Watcher Cluster的资源管理模式,能够实现负载隔离、独立伸缩,伸缩速度可以达到秒级甚至毫秒级。

石静猛先生举了一个典型例子:假设每天早上有100个人查看BI报表,那么需要100块资源;到中午时只有10个人查看,就只需要10块资源;如果有56个人查看,就只需要56块资源。云栖科技的解决方案能够根据并发度动态控制资源的弹性供给,使资源使用无限贴近真实需求。

再往上,云栖科技的产品能够支持大数据领域的多种应用场景,如离线加工、流式处理、实时分析等,而传统方式需要组合十几个开源组件才能做到。云栖科技的优势在于,它只需一个产品就能支持所有场景,内核是一份数据、一份资源、一套元数据、一种SQL开发体验。相比之下,开源方式需要使用不同的组件,如Flink用于流式加工需要编写Java代码,Hive用于离线数仓,实时分析需要使用Impala或Doris等,每个组件都占用一份资源,有不同的开发体验和存储,导致割裂。

此外,云栖科技的解决方案还提供了开放的AI引擎。尽管是纯自研的,但它并非闭门造车,而是与生态系统融合,原生支持第三方在线大模型的调用,以及自研模型的集成。在实践中,云栖科技与客户合作开发了大屏运营应用,用户可以通过文本输入,系统就能生成相应的图表、表格或其他结果,为业务人员的分析应用提供支持。

最后,云栖科技提供了一个统一的数据管理平台,包括Web UI的Studio开发界面,支持开发构建、运维监控、数据资产和质量管理等功能。各种数据源都可以通过产品化的方案集成进来,对外提供数据应用。这整个架构都是完全建立在云之上的。

总结一下,云栖科技这一平台的特性主要有五个方面:

1. 数据引擎一大于N,即一个引擎就能解决多种业务场景,避免了组件、数据、资源、开发体验的分裂和冗余,从而降低成本。
2. 开放且解除锁定,可以在国内外多云多区域运行,支持全球统一的租户体系和权限管控。
3. 资源按需弹性,启动成本接近零,完全按需使用资源。
4. AI for Data,一方面支持数据应用AI场景,另一方面利用AI手段优化大数据系统自身。
5. 全托管的多云安全合规平台。

针对不同规模的企业,这一解决方案可以提供不同的价值:

1. 对于初创企业,可以实现零成本启动,提供一站式开发平台,让企业聚焦业务发展。
2. 对于中型企业,可以降本增效,免运维,提供高性能引擎支持业务快速发展。中型企业往往面临业务量增长、数据规模扩大、运维成本升高等问题,需要降本并获得高性能支持。云栖科技的解决方案可以极大降低成本、开箱即用、免运维。
3. 对于大型企业,核心价值在于极大降低总体成本,并支持新业务场景的灵活建设。石静猛先生分享,一般中大型企业从传统Hadoop平台迁移到云栖科技平台后,能够降低1/3以上,甚至一半的成本。同时基于增量计算技术,可以做到真正的全域实时加工,在保证数据新鲜度的同时,性能更高、成本更低,平衡了传统上不可能平衡的三角矛盾。

对于出海企业,云栖科技的解决方案旨在让客户聚焦业务,提供全球统一的开发体验、代码复用、人才复用,以及完全托管、免运维的服务。目前,该解决方案已在新加坡的Amazon Web Service上开服,即将上架Marketplace。

最后,石静猛先生分享了一个典型的客户案例。该客户原有的大数据平台是基于开源组件搭建的,包括Hive离线数仓、Flink实时链路、ClickHouse实时分析等多个组件。除了组件多之外,该系统还面临查询超时、链路冗余、存储割裂等问题。

在采用云栖科技的解决方案后,上述三个场景都得到了支持,只需一个平台就能满足需求。所有结构化和非结构化数据都可以进入平台,支持宽表查询、关联查询,查询性能大幅提升。存储天然分离,基于S3实现无限扩展,自带数据归档和分层存储功能,并且安全无需关注。该客户的运维完全托管,成本降低50%,获得了全面的能力提升。

总的来说,这是一场精彩的演讲,石静猛先生全面介绍了云栖科技与亚马逊云科技合作的创新解决方案。该解决方案将自研的大数据平台与亚马逊云基础设施深度融合,为企业数字化转型和全球化提供了一站式、低成本、高效、安全可靠的大数据基础设施,让企业能够聚焦业务创新,实现智能设备全价值链的创新。通过与亚马逊云科技的合作,云栖科技解决了企业在出海过程中面临的诸多挑战,提供了一种全新的数字化基础设施建设模式,助力企业聚焦核心业务,推动智能设备全产业链的创新发展。

下面是一些演讲现场的精彩瞬间：

云栖科技史进猛感谢亚马逊老师们的精彩介绍,为他的分享铺平了道路

企业出海面临多云环境的挑战,包括多套产品开发体验不一致、运维复杂以及安全合规问题

传统大数据应用场景增加时成本急剧上升,且国内经验难复制到国外

亚马逊云科技提供了一站式的企业级数据智能化服务,帮助企业快速搭建数字化基础设施,专注于业务发展。

亚马逊云服务提供了经过充分验证的稳定性和合规管理能力,为企业解决了业务稳定和安全合规的头疼问题。

亚马逊云科技 推出开放引擎,支持与第三方 AI 引擎集成,实现多模态人机交互和智能分析应用。

亚马逊云科技客户案例展示了一个基于开源构建的大数据平台系统,集成了Hive、Flink、ClickHouse等多种组件,但仍面临查询超时、链路冗余和存储割裂等挑战。

总结

在亚马逊云科技出海日2024活动上,云栖科技的史进猛分享了构建和运营海外电商独立站的问题和解决方案。他指出,企业出海面临多云环境、多套产品、不同开发体验、运维成本高、安全合规等挑战,导致启动成本高、业务发展受限。为解决这些问题,云栖科技与亚马逊云科技合作,共同打造了一个可托付的云上数据平台。

这个平台具有以下优势:一是深度融合亚马逊云基础设施,实现极致资源弹性和高可靠性;二是采用Everything架构,实现数据、资源、元数据、应用的统一;三是支持多租户、跨云跨区域部署;四是一站式开发,降低运维成本;五是开放引擎,支持第三方AI模型集成。通过这个平台,企业可以零成本启动、降低50%以上运维成本,快速复制国内最佳实践,聚焦业务发展。该平台已在新加坡Amazon Web Service上线,即将上架Marketplace。

史进猛还分享了一个典型客户案例,展示了该平台如何解决开源大数据平台的诸多痛点,提高查询性能、降低存储和运维成本。总的来说,这个云上数据平台为企业出海提供了高效、经济、安全的数字化基础设施解决方案。