开源大数据周刊-第97期

资讯

• TF和PyTorch都不够好！甲骨文开源GraphPipe

机器学习虽然在过去几年取得了重大进展，也出现了很多相关的框架，但因为缺乏事实上的标准，在重用和整合机器学习模型时通常涉及大量的定制化工作，而且在性能方面也存在不足。甲骨文开源的 GraphPipe 旨在解决这些问题，让机器学习变得更加简单，使企业更容易从任何框架部署和查询机器学习模型。

• Apache Flink 1.6.0 正式发布

Apache Flink 1.6.0在上周发布，涵盖多项重要更新，此版本继续使 Flink 用户能够无缝地运行快速数据处理并轻松构建数据驱动和数据密集型应用程序。

• Alluxio发布新版本，伯克利走出的技术将如何改变数据分析和机器学习的云端部署？

云端逐渐成为大数据企业的必争之地，近期开源分布式存储系统Alluxio发布1.8版本，加速针对数据分析及机器学习的云端部署，新版本的功能包括了支持FUSE、针对不同云端存储方案的优化等。

技术

• Kylin 在马蜂窝数据分析团队的应用实战

马蜂窝大数据平台自 2017 年下半年引入 Apache Kylin 以来，极大的提升了数据分析师对于数据探索的效率。因为使用了 Apache Kylin，数据分析师可以直接查询大数据、无需排队、亚秒级响应，整体开发效率提高了 10 倍以上。

• 当MongoDB遇见Spark

本文介绍了传统Spark生态系统的架构，以及MongoDB作为一个数据库存储引擎在Spark生态的角色，着重介绍了使用MongoDB替换传统HDFS后带来的好处。

• Apache Flink 在唯品会的实践

本文来自于王新春在2018年7月29日 Flink China社区线下 Meetup·上海站的分享，演讲者分享了唯品会实时平台现状，实时看板、实时ETL等Flink应用场景，以及Flink在Kubernetes上的部署情况。

• 民生银行大数据体系架构设计与演进

近年来，随着大数据与人工智能相关技术的迅速发展，新技术逐步在全社会各行各业得到应用。银行业作为一个高度信息化的行业，首当其冲面临着互联网新技术应用的挑战。民生银行从2013年开始布局分布式、大数据及人工智能技术等领域，在支撑业务应用场景发展的同时，建设了几大平台，支持可视化机器学习、实时推荐引擎、数据开放等场景。