开源大数据周刊-第33期

摘要： 阿里云E-MapReduce实践 使用E-MapReduce服务将Kafka数据导入OSSkafka是一个开源社区常用的消息队列，对阿里云文件存储系统OSS没有官方的支持。本文通过一个例子，实现了kafka的数据写入阿里云OSS。

阿里云E-MapReduce实践

• 使用E-MapReduce服务将Kafka数据导入OSS
  kafka是一个开源社区常用的消息队列，对阿里云文件存储系统OSS没有官方的支持。本文通过一个例子，实现了kafka的数据写入阿里云OSS。

资讯

• 能源行业将被重构，大数据有哪些“挖”法？
  能源互联网的风口已来。在能源 互联网应用中非常重要的一点，是要对每一个节点进行精准画像，以能源用户为中心，将每个用能设备各个环节数据化，提高管理能力，产生新的价值。
• 到2017年，大数据有望实现这六大预言
  大数据正在以开天辟地的方式让企业获得巨大的潜能，到2017年有望实现六大预言。
• Face++融资1亿美元，曾为马云刷脸
  人脸识别服务Face++开发商旷视科技（Face++）宣布完成新一轮融资，投资者包括富士康、建银国际控股。 Face++成立已有五年，已为包括公安部、中信集团、平安集团、阿里巴巴、东软集团、万科、滴滴出行提供了智能数据服务。
• 2016年十大数据泄露事件：社交网络成泄露重灾区
  近年来，随着互联网、大数据的发展，数据安全已经成为时下人们最为关注的问题。本文从今年全球范围内所发生的数据泄露事件中，选出了十个经典案例，以供参考。
• （技术）Hadoop平台中SQL优化的四个思路
  本文介绍了如何快速找到SQL的性能优化点。首先简单介绍了当前主流计算机硬件的性能指标，结合性能指标提出了四个优化方向：减少数据访问（减少磁盘访问），减少中间结果量（减少网络传输或磁盘访问），减少交互次数（减少网络传输、减少调度开销），改进算法，减少服务器CPU开销（减少CPU及内存开销）。
• （技术）Apache Spark：大数据处理统一引擎
  在大数据领域，不同的计算模型越来越多，用户需要一个 统一的系统将不同的模型整合到一起。本文介绍了spark的编程模型，性能，主要的功能组件，未来的发展方向。
• （技术）新加坡政府数据科学部门如何利用大数据协助诊断环线地铁故障
  本文揭示了新加坡政府是如何利用大数据技术来捕获引发地铁被中断的反常列车，我们得以再一次见识大数据技术的神奇力量。