大数据
i_am_will
联系方式:1524405292@qq.com
展开
-
DAGScheduler实现-2.0v
转载:https://www.jianshu.com/p/ad9610bcb4d0 整体架构 任务调度逻辑视图 DAGScheduler:负责分析用户提交的应用,并根据计算任务的依赖关系建立DAG,且将DAG划分为不同的Stage,每个Stage可并发执行一组task。注:DAG在不同的资源管理框架实现是一样的。 TaskScheduler:DAGScheduler将划分完成的T...转载 2019-11-15 16:52:21 · 316 阅读 · 0 评论 -
在阿里云上搭建spark分布式环境。
参考资料:(我觉的参考资料比我的更重要,所以它在前面。)http://www.mak-blog.com/spark-on-yarn-setup-multinode.html张丹阳. 阿里云实现Spark的分布式计算https://www.cnblogs.com/freeweb/p/5773619.html三台EMC服务器,ubentu系统。下载一个putty,做远程连接。第一步:修改/etc/ho...原创 2018-02-10 19:44:45 · 2955 阅读 · 2 评论