开源大数据周刊-第78期

点击有惊喜

资讯

• 盘点2017年晋升为Apache TLP的大数据相关项目
  本文主要盘点了 2017 年晋升为 Apache Top-Level Project (TLP) 的大数据相关项目，包括Apache Beam（下一代的大数据处理标准），Apache Eagle（分布式实时Hadoop数据安全方案），Apache Ranger（统一授权管理框架），Apache Metron（实时网络安全检测框架），Apache SystemML（为大数据优化的声明式机器学习平台），Apache CarbonData（列式存储文件格式），Apache Fluo（大规模增量处理系统），Apache DistributedLog（高性能分布式复制日志系统），Apache MADlib（基于SQL可扩展的机器学习库），Apache RocketMQ（分布式消息传递和流数据平台），Apache Impala（新一代开源大数据分析引擎），Apache Trafodion（基于 Hadoop 平台的事务数据库引擎）。
• 政府大数据应用经典案例 | 江西省教师质量监测、评估与服务大数据平台 健全教育质量保障体系
  江西省教师质量监测、评价与服务大数据平台，围绕江西省中小学课堂教学行为测评，为教师质量动态监测提供技术支撑，构建教师质量评估与诊断的科学体系，为政府和学校优化教师队伍建设提供科学的决策依据。
• 依托大数据平台 实现税收优惠政策精准落地
  在重庆，像数字城市科技公司这样享受到税收优惠红利的企业还有很多。重庆市地税局充分发挥税收优惠政策的扶持作用，依托大数据平台，重点推进高新技术企业研发费用加计扣除等税收优惠政策精准落地，以税收“减法”赢得了企业发展和经济结构转型的“加法”。

技术

• 使用EMR来进行mysqlbinlog日志准实时传输
  如何利用阿里云的sls插件功能和emr来进行mysql binlog的准实时传输。
• 基于可视化配置的日志结构化转换实现
  随着互联网、IT、大数据等技术的爆发式发展，企业系统产生的大量爆发数据。对于保存在数据库中的业务数据，可以通过DBus数据总线+Wormhole流式处理平台的日志方式实时地无侵入同步和落地到任意sink端，提供下游系统分析使用；对于业务系统产生的日志数据，这些包含了业务高低峰、用户轨迹、系统异常/错误信息、调用链等诸多信息，也蕴含着无价的宝藏。一些公司通过埋点等方式和手段，往日志数据里输出他们想要监控和跟踪的信息，以便提供客观的数据支撑，做出更高效、更准确的决策。
• SparkRDMA：使用RDMA技术提升Spark的Shuffle性能
  由Mellanox Technologies公司开发并开源的SparkRDMA ShuffleManager采用RDMA技术，使得Spark作业在Shuffle数据的时候使用RDMA方式，而非标准的TCP方式。在测试的结果显示，采用RDMA进行Shuffle 数据比标准的方式快2.18倍！
• 流计算框架 Flink 与 Storm 的性能对比
  本文对这两个框架进行性能对比，为实时计算平台资源规划、框架选择、性能调优等决策及Flink平台的建设提出建议并提供数据支持，为后续的SLA建设提供一定参考。

点击有惊喜