开源大数据周刊-第24期

摘要： 本周关注：意图搜索、hadoop3.0、大数据架构BI、大数据农业应用

阿里云E-Mapreduce动态

E-Mapreduce团队

1.5.0版本（已经发布）

• emr控制台增加可概览页面
• emr控制台增加用户查看集群进程状态功能
• presto组件默认支持oss
• 上线美西和新加坡region
• hive默认支持tez
• 作业参数中不用再填写复杂的oss ak参数，作业中实现自动获取用户ak信息访问oss资源（仅限VPC网络）

1.6.0版本

• 交互式查询（支持hive、spark）
• emr Hive元数据使用rds或者其他外部数据库
• 开源软件界面查看入口
• 配置项修改及集群服务重启操作
• 其它点的一些优化

资讯

• 深度解读：大数据时代的意图搜索
  意图搜索起源于互联网搜索引擎，是基于互联网上海量的无组织、异构、动态的数据与信息环境下搜索引擎不能准确理解用户的搜索意图而提出的，利用如神经网络算法等机器学习方法实现智能化的自动搜索，从而更加精准、主体的提供个性化的服务
• 阿里云基础生态首席架构师石立勇：产业互联网升级的视角
  大数据时代，很多自主创新的技术正在促进整个产业互联网的升级未来十年实际上会有这样一些变化，所有的创新企业都是头脑产业，未来人工智能越来越发达，需要创新的人会越来越少，大多数是享用创新的成果
• 深度剖析 | 基于大数据架构的BI应用
  说起互联网、电商的数据分析，更多的是谈应用案例，如何去实践数据化管理运营。而这里，我们要从技术角度分享关于数据的技术架构干货，如何应用BI
• 大数据在农业中的四大应用
  农业大数据到底是什么鬼？
• Apache Hadoop 3.0.0-alpha1正式发布及其更新介绍
  涉及纠错码、Intra-datanode均衡器、MapReduce任务级本地优化等
• 专访HDFS committer Intel 研发经理郑锴：EC之后，HDFS下一步新思考
  在作为HDFS诞生以来的最大改进——支持了纠删码（erasure coding）之后，面对这个比较完善但并不十全十美的方案，面对Hadoop开源生态，HDFS的下一步将走向何处呢？
• 专访阿里云高级技术专家吴威：Kafka、Spark和Flink类支持流式计算的软件会越来越流行
  大数据领域一定会朝着更加实时、更加智能、数据更加多样化的方向前进。Kafka、Spark和Flink之类的支持流式计算的软件会越来越流行，同时各类机器学习平台和工具也会越来越成熟。