开源大数据周刊-第12期

摘要： 本周包括 全景洞察大数据全貌、数据分析师的职业规划、打造智能聊天机器人、E-Mapreduce的相关实践及动态、最近值得关注的大数据会议。

阿里云E-Mapreduce动态

E-Mapreduce团队

1.3.4版本 (已经发布)

• 升级jdk到1.8
• 升级Hadoop到2.7.2
• 添加python2.7.1及python3.4版本
• 添加numpy库
• 支持Presto、phoenix、jstorm、oozie
• 支持Hadoop跟Hbase混合部署
• 支持深圳、上海机房

1.4版本（正在研发）:

• 用户执行计划及集群运行状态自定义报警

1.4.1版本

• 集群整体运行情况的仪表盘
• 集群状态监控报警

资讯

• 5W1H(六何分析法)全景洞察大数据
  我们从大数据的特征说起，谈到了大数据的价值，再聊什么时候做，谁去做，选择什么平台，最后聊到了怎么做的问题。通过对一些真实的场景分析，了解了大数据的全貌。
• 阿里云发布《数据安全白皮书》
  6月29日，阿里云在云栖大会·成都峰会发布《数据安全白皮书》，首次公开了阿里云在保障230万用户数据安全方面建立的流程、机制以及具体实践办法。借此机会，针对用户最关心的云上数据传输、使用和存储等问题，阿里云也给出了详实的解读和承诺。并通过权威的认证和审计报告，充分证明其在数据安全方面的合法合规性。
• 使用深度学习打造智能聊天机器人
  很多大型互联网公司投入重金研发相关技术，并陆续推出了相关产品，比如苹果Siri、微软Cortana与小冰、Google Now、百度“度秘”……聊天机器人是未来服务的入口，尤其在移动场景，本文重点介绍如何通过深度学习技术，构建开放领域、生成式聊天机器人。
• 数据分析师的职业规划之路
  数据分析师作为一个出现时间不长的工种，大数据时代下，成为螺丝钉还是成为龙头，需要尝试新的可能。
• 使用Hive进行OSS数据处理的一个最佳实践
  本文主要介绍如何使用Hive来处理保存在OSS上的数据源，并通过E-MapReduce计算，最终的结果保存在OSS上。
• E-MapReduce的HBase集群使用Hue
  E-MapReduce的HBase集群中使用Hue，方便用户访问查询数据.
• Spark搭档Elasticsearch
  Spark与elasticsearch结合使用是一种常用的场景，在这里整理了一些Spark与ES结合使用的方法。