使用MaxCompute搭建社交好友推荐系统

Apsara Clouder大数据专项技能认证：使用MaxCompute搭建社交好友推荐系统

本认证可以帮助学员了解如何使用阿里云大数据计算服务快速搭建企业级的社交好友推荐系统，掌握使用云端相关大数据服务进行开发和测试的能力。

 

 

大数据计算服务（MaxCompute，原名 ODPS）是一种快速、完全托管的 GB/TB/PB 级数据仓库解决方案。MaxCompute 为您提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决海量数据计算问题，有效降低企业成本，并保障数据安全。

同时，DataWorks 和 MaxCompute 关系紧密，DataWorks 为 MaxCompute 提供了一站式的数据同步，任务开发，数据工作流开发，数据管理和数据运维等功能，详情请参见 DataWorks（原大数据开发套件）。

MaxCompute 主要服务于批量结构化数据的存储和计算，可以提供海量数据仓库的解决方案以及针对大数据的分析建模服务。随着社会数据收集手段的不断丰富及完善，越来越多的行业数据被积累下来。数据规模已经增长到了传统软件行业无法承载的海量数据（百 GB、TB 乃至 PB）级别。

在分析海量数据场景下，由于单台服务器的处理能力限制，数据分析者通常采用分布式计算模式。但分布式的计算模型对数据分析人员提出了较高的要求，且不易维护。使用分布式模型，数据分析人员不仅需要了解业务需求，同时还需要熟悉底层计算模型。MaxCompute 的目的是为您提供一种便捷的分析处理海量数据的手段，您可以不必关心分布式计算细节，便可达到分析大数据的目的。

MaxCompute 已经在阿里巴巴集团内部得到大规模应用，例如：大型互联网企业的数据仓库和 BI 分析、网站的日志分析、电子商务网站的交易分析、用户特征和兴趣挖掘等。

产品优势

大规模计算存储

MaxCompute 适用于 100GB 以上规模的存储及计算需求，最大可达 EB 级别。

多种计算模型

MaxCompute 支持 SQL、MapReduce、Graph 等计算类型及 MPI 迭代类算法。

强数据安全

MaxCompute 已稳定支撑阿里全部离线分析业务7年以上，提供多层沙箱防护及监控。

低成本

与企业自建私有云相比，MaxCompute 的计算存储更高效，可以降低 20%-30% 的采购成本。

 

功能概述

数据通道

• 支持批量、历史数据通道

TUNNEL 是 MaxCompute 为您提供的数据传输服务，提供高并发的离线数据上传下载服务。支持每天 TB/PB 级别的数据导入导出，特别适合于全量数据或历史数据的批量导入。Tunnel 提供 Java 编程接口供您使用，并且在 MaxCompute 的客户端工具中，有对应的命令实现本地文件与服务数据的互通。

• 实时、增量数据通道

针对实时数据上传的场景，MaxCompute 提供了延迟低、使用方便的 DataHub 服务，特别适用于增量数据的导入。DataHub 还支持多种数据传输插件，例如：Logstash、Flume、Fluentd、Sqoop 等，同时支持日志服务 Log Service 中的 日志数据一键投递至 MaxCompute，进而使用 DataWorks 进行日志分析和挖掘。

 

 

关于使用MaxCompute的详细内容：

Apsara Clouder大数据专项技能认证：使用MaxCompute搭建社交好友推荐系统

 

 

阿里云大学官网（阿里云大学 - 官方网站，云生态下的创新人才工场）

转载于:https://my.oschina.net/u/3727422/blog/1583579