开源大数据周刊-第30期

摘要： 开源大数据周刊-第30期：阿里云E-MapReduce上的案例分享；重磅新闻，阿里云在CloudSort上夺冠；Beam，Flink，KV技术分享。

阿里云E-MapReduce实践

• 泰为在E-MapReduce上的考量与实践
  阿里云EMR是基于 Hadoop 的生态环境来搭建，同时可以跟阿里云的对象存储服务OSS等云服务进行无缝数据交换，方便用户将数据在存储平台和计算平台之间进行输入输出，以满足不同业务类型的需要，所以对阿里云EMR充满期待。
• HIVE MapJoin在E-MapReduce上的调优与处理总结
  HIVE被很广泛的使用，使用过程中也会遇到各种千奇百怪的问题。这里就遇到的MapJoin Local 内存不足的问题进行讨论，从问题描述、mapjion原理以及产生该问题的原因，解决方案做一下介绍，最后对该问题进行了进一步的思考，希望对解决该类问题的朋友有所帮助。

资讯

• CloudSort 夺冠，阿里云性价比高出 AWS 保持的世界记录三倍
  重磅新闻。2016 年 11 月 10 日，Sort Benchmark 在官方网站公布了 2016 年排序竞赛 CloudSort 项目的最终成绩。阿里云以$1.44/TB 的成绩获得 Indy（专用目的排序）和 Daytona（通用目的排序） 两个子项的世界冠军，打破了 AWS 在 2014 年保持的纪录 4.51$/TB。这意味着阿里云将世界顶级的计算能力，变成普惠科技的云产品。
• 2016年10月大数据投融资分析报告：精准营销最终将实现“无营销”的营销
  根据不完全统计，2016年10月大数据行业共计发生42起投融资事件，相比上个月环比增长24%，其中已披露具体金额的有39起，涉及金额33.83亿人民币。
• 基于大数据技术的二手车交易服务商大搜车完成1亿美元融资
  11月15日，二手车交易服务商——大搜车宣布获得了C轮1亿美元融资，蚂蚁金服和神州租车共同参与了此次投资。大数据技术功不可没啊。
• 大数据加持 自动化快递物流支撑电商千亿时代
  2016年天猫“双十一”全球狂欢节签收的第一单，物流反应速度之快，也创了新纪录。 反应速度提速背后，是大数据加持的结果。伴随着“双十一”电商狂欢进入第八个年头的快递物流行业，已经全面进入数据化、信息化、自动化发展路径，初步摆脱最初“双十一”时爆仓、损耗，累垮快递员的局面，而开始收获订单激增与口碑变好的双重福利。
• MIT科技评论：阿里巴巴成为大数据变革者
  阿里已经成为一家大数据公司，阿里巴巴大数据价值不仅体现在数量上，更体现在数据的质量上，巨头推进大数据向前发展。
• （技术）大数据统一的批处理和流处理标准Apache Beam
  Apache Beam 是 Apache 软件基金会越来越多的数据流项目中最新增添的成员，这个项目的名称表明了设计：结合了批处理（Batch）模式和数据流（Stream）处理模式。它基于一种统一模式，用于定义和执行数据并行处理管道（pipeline），这些管理随带一套针对特定语言的SDK用于构建管道，以及针对特定运行时环境的Runner用于执行管道。
• （技术）深入理解Flink核心技术
  Flink项目是大数据处理领域最近冉冉升起的一颗新星，其不同于其他大数据项目的诸多特性吸引了越来越多的人关注Flink项目。本文将深入分析Flink一些关键的技术与特性，希望能够帮助读者对Flink有更加深入的了解，对其他大数据系统的开发者也能有所裨益。
• （技术）大数据时代的9大Key-Value存储数据库
  各种规模的组织开始有了处理大数据的需求，而目前关系型数据库在可缩放方面几乎已经达到极限。一个解决方案是使用键值(Key-Value)存储数据库，这是一种NoSQL(非关系型数据库)模型，其数据按照键值对的形式进行组织、索引和存储。本文介绍了9种用于大数据处理的免费键值存储数据库。