![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
wybdt
这个作者很懒,什么都没留下…
展开
-
Spark作业基本运行原理
Spark作业基本运行原理: 我们使用spark-submit提交一个spark作业之后,这个作业就会启动一个对应的Driver进程。根据你使用的部署模式(deploy-mode)不同: Driver进程可能在本地启动,也可能在集群中的某个工作节点上启动; Driver进程本身会根据我们设置的参数,占有一定数量的内存和CPU core。 而Driver进程要做的第一件事情,就是向集群管理器(...转载 2020-03-18 19:01:15 · 161 阅读 · 0 评论 -
Spark提交任务参数
1.执行命令 #!/bin/bash //crontab脚本第一行必须语句,才能生成脚本 cd /root/sparkjob/BaseStat; day=`date -d "-1 day" +%Y%m%d`; //定义时间格式 day1=`date +%Y-%m-%d`; #只有当前没有任务在执行时,才去执行下一个任务 echo "~~~~~~~~~~~~~~~~~~~~~start...原创 2020-03-18 17:43:55 · 792 阅读 · 0 评论