开源大数据周刊-第22期

摘要： 本周关注：大数据部门、数据科学家、机器学习发展与机遇、spark2.0 Structured Streaming、Hbase运维、Sqoop、Flink的第一本书籍。

阿里云E-Mapreduce动态

E-Mapreduce团队

1.5.0版本（正在研发）

• 增加集群整体运行情况的仪表盘
• 访问OSS不需要写id、key，增强安全性
• 集群其中后，可以重启、修改配置及安装软件

1.6.0版本

• 交互式查询（支持hive、spark）

资讯

• 在大数据时代，每家公司都要有大数据部门吗？
  在大数据时代，每家公司都要有自己的大数据部门吗? 结论也不能下的太武断。如果这个问题换做是：在电气时代，每家公司都要有个发电厂吗?是不是会更好回答一些
• 机器之心首席技术顾问赵巍：机器学习技术的发展和机遇
  人工智能的蜂巢很大的原因就是背后深度学习技术，尤其是计算机视觉方面叹为观止的成绩，才会带来这么多人谈论人工智能。赵巍表示，过度炒作深度学习也是一个错误，深度学习只是人工智能技术中比较有成绩的工作，人工智能的核心驱动力应该是机器学习技术
• 如何成为一名数据科学家?
  什么是数据科学呢？本文围绕数据科学家这个词做出详细的探讨。
• Spark 2.0 Structured Streaming 分析
  Spark 2.0 将流式计算也统一到DataFrame里去了，提出了Structured Streaming的概念，将数据源映射为一张无线长度的表，同时将流式计算的结果映射为另外一张表，完全以结构化的方式去操作流式数据，复用了其对象的Catalyst引擎。
• HBase运维实践－聊聊RIT的那点事
  Hbase运维的一些实践
• 使用Sqoop从MySQL导入数据到Hive和HBase及近期感悟
  数据流通是数据分析的前提，Sqoop是目前很多企业的标配。
• introduction-to-apache-flink
  业界flink第一本书

国内大数据相关会议

| 会议 | 地点 | 时间 | 费用 |
| --- | --- | --- | --- | 
| [2016杭州云栖大会] | 杭州 | 2016年10月 | 收费+免费 |