关注
分享
玄苦大师233
机会往往是长期准备和酝酿的而不能只靠一时的主动与激情所以认真写好技术博客吧
新博客 =》https://chenguolin.github.io/
展开
-
Spark-Yarn架构介绍
1.简介MapReduct框架从hadoop-0.23版本以后发生了重大的变革, 新的计算框架我们称为MapReudce 2.0 或者 YARN(Yet-Another-Resource-Negotiator)这篇文章主要是简单的介绍YARN的架构, 因为后续我们都会使用YARN提交Spark程序MapReduct 2.0最主要的变革是把资源分配和任务调度隔离. 一个全局的资源管理称为Resour原创 2016-09-17 12:13:24 · 1260 阅读 · 0 评论 -
Spark-yarn环境部署
参考自http://www.powerxing.com/install-hadoop/ 基本环境: ubuntu 12.04 32位一. 安装yarn伪分布式集群 1. 创建新用户 (1) 添加用户: sudo useradd -m hadoop -s /bin/bash (2) 修改密码: sudo passwd hadoop (3)原创 2016-09-05 14:54:48 · 1427 阅读 · 0 评论 -
Spark-分布式集群运行
1.简介这篇文章主要是简单的介绍一下Spark应用如何在集群上运行, 更进一步的理解Spark所涉及到的相关主件2.架构Spark应用在集群上是独立运行的进程, 通过主程序(main program)的SparkContext进行协调. 一般我们成Spark的主程序为driver程序(driver program)特别的, 在集群上运行Spark, SparkContext对象支持和多种不同类型的原创 2016-09-24 17:45:01 · 2792 阅读 · 0 评论