关于大数据的大数据平台

大数据平台

大数据平台，顾名思义就是整合网站应用和大数据系统之间的差异，将应用程序产生的数据导入到大数据系统，经过处理计算后再导出给应用程序使用。

大数据平台架构

互联网大数据平台

互联网产品处理用户请求，需要毫秒级的响应，要在 1 秒内完成计算，普通大数据计算必然不能实现这样的响应要求。

如何才能弥补这互联网和大数据系统之间的差异呢？

解决方案就是将面向用户的互联网产品和后台的大数据系统整合起来，也就是构建一个互联网大数据平台。

图是一个典型的互联网大数据平台的架构。

在这张架构图中，大数据平台里面向用户的在线业务处理组件用褐色标示出来，这部分是属于互联网在线应用的部分，其他蓝色的部分属于大数据相关组件，使用开源大数据产品或者自己开发相关大数据组件。

你可以看到，大数据平台由上到下，可分为三个部分：数据采集、数据处理、数据输出与展示。

大数据平台产品

互联网大数据平台提供了数据获取、存储、计算、应用的技术方案，挖掘出这些数据之间的关系，让数据发挥价值。

我们在京东购物，阅读新闻、刷视频，背后其实都有智能推荐算法。这些算法不断分析、计算我们的购物偏好、浏览习惯，然后为我们推荐可能喜欢的商品、文章、视频。事实上，这些产品的推荐算法是如此智能、高效，以至于我们常常一打开商城，就浏览个不停。

如图：基于用户属性的推荐是相对比较简单的一种推荐算法。根据用户的基本信息进行分类，然后将商品推荐给同类用户。

用户 A 和用户 C 的年龄相近，性别相同，那么可以将用户 A 和用户 C 划分为同类。用户 A 喜欢商品 D，那么推测用户 C 可能也喜欢这个商品，系统就可以将这个商品推荐给用户 C。图中示例比较简单，在实践中，还应该根据用户收入、居住地区、学历、职业等各种因素进行用户分类，以使推荐的商品更加准确。

JD Cloud大数据平台

JD Cloud推出了这个一站式大数据服务平台，为企业客户提供数据的采集、存储、挖掘、分析等数据生态链服务。

大数据中台

大数据中台是一个数据集成平台，它不仅仅是为数据分析挖掘而建，它更重要的功能是作为各个业务的数据源，为业务系统提供数据和计算服务。

数据从软件诞生的那一天开始就存在，但是，数据并不是第一天就被存储和利用的。在信息化时代，企业早期通过流程来进行生产和管理，流程是预先设计好的，然后在设计好的流程中产生了数据。比如现在销售部门依赖于CRM（客户关系管理平台），售后部门主要看客服系统，市场营销部门关心微信平台，数据分析团队使用各类数据分析工具…在这个过程中，各个企业分别都在用不同的方式来尽可能的利用数据产生的价值。但是随着企业为了适应需求端（市场和消费者）的变化，早期工具各自产生新的、孤立的、片面的客户数据，却无法快速同步，甚至团队之间还怀疑对方数据是否正确。因此，企业急需调整和改革供应端（生产制造和供应链），也就是需要一个统一真实的数据源来描述客户，而不是任由客户的不同维度数据由不同部门各自存储，于是在这样的场景下数据中台应运而生。

数据中台跟之前大数据平台最大的区别，在于数据中台距离业务更近，能更快速地响应业务和应用开发的需求，可追溯，更精准。

JD Cloud用户数据平台

JD Cloud用户数据平台（CDP）基于中台构建这种服务时是考虑到可复用性的，每个服务就像一块积木，可以随意组合，非常灵活，有些个性化的需求在前台解决，这样就避免了重复建设，既省时、省力，又省钱。