weixin_44978754的博客

原创 SparkLauncher类（java调用spark任务源码理解）

（1）通过launch()方法开启处理Spark app的进程 (2) 点进createBuilder()方法中有两个比较重要的方法(3) 点进findSparkSubmit()方法根据操作系统定位到 spark-submit(linux) 命令 相当于在服务器命令行输入spark-submit命令(4)点进buildSparkSubmitArgs()方法主要是对用户填写的参数deployMode等和Conf设置的参数内容进行封装(5)...

原创 图片保存.

原创 yarn新增队列后提交任务失败后问题排查

yarn上新增队列名为sprak队列后任务提交失败查看capacity-scheduler.xml发现yarn默认给default队列分配了100%的内存 可能是内存导致的到yarnweb页面上查看发现default队列可用容量为100% 而新增加的队列容量为0%于是将default队列的配置复制一份给spark队列 并将队列容量均分新增spark队列配置如下<property> <name>yarn.scheduler.ca...

原创 spark-submit类源码分析(scala)

主要以 spark-submit能否在一条命令执行多个主函数 （即一条命令执行多个主函数） 分析 spark-submit类源码找到主方法1.首先是parseArguments 方法, 返回SparkSubmitArguments实例，该类主要是解析和封装参数 而mainClass 则对应的则是 spark-submit提交的 --class 对应的反射出的类名 到这实际已经可以看出mainClass为字符串 只能在提交时指定一个主函数而为什么知道-class对应的是mai...

原创 2021-07-16 yarn Total VCores allocated for Containers 与服务器上cpu核数不一致原因

hadoop集群中每个nodemanager( 之后统称nm)容器虚拟核数为8但检查单节点机器cpu个数为1 核数为2这是如何分配的？？查阅yarn-site.xml 官方文档地址：https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-common/yarn-default.xml得知如果将其设置为-1并且yarn.nodemanager.resource.detect-hardwar...