spark
sxiaobei
专注于互联网,大数据,分布式存储领域 邮箱13572258026@163.com
展开
-
Spark核心数据模型RDD及操作
如今spark特别火,相信作为程序员的你也难以抵挡spark的魅力,俗话说万事开头难,学习spark需要一些准备工作,首先就是要搭建学习测试环境,spark非常人性化,一个简单的测试环境,只需要下载安装包,解压之后,运行spark_shell脚本就可以学习测试了,spark测试的经典页面如下图:这样就以本地模式启动了spark,可以进行学习了。如果有条件,可以搭建一个集群,建议用doc原创 2017-12-17 22:59:34 · 1764 阅读 · 0 评论 -
Yarn资源调度工作原理
由于Yarn良好的兼容性和扩展性,目前可以支持大部分数据引擎,所以了解Yarn的资源调度原理很有必要,Yarn主要由四个重要角色组成:ResourceManager:顾名思义资源管理器,主要负责资源管理和调度,ResourceManager主要由两个组件构成:ApplicationManager,主要负责两类工作:1.管理监控各个系统的应用,包括启动Applicaiton Master,监控App...原创 2018-07-01 19:13:00 · 12888 阅读 · 1 评论