性能调优
文章平均质量分 89
Data_IT_Farmer
BJUT 2014级 计算机学院小硕一枚,现为某上市金融公司--高级大数据开发工程师一枚。自20170701开始记录自己的技术工作生涯!广结天下技术之友,笑对未来技术之难题!
展开
-
如何为Spark应用程序分配--num-executors,--execuor-cores和--executor-memory
如何为Spark应用程序分配--num-executors,--execuor-cores和--executor-memory1、前言在我们提交spark程序时,应该如何为Spark集群配置–num-executors, - executor-memory和–execuor-cores 呢?1.1、一些资源参数设置的基本知识Hadoop / Yarn / OS Deamons 当我们使用像Yarn这样的集群管理器运行spark应用程序时,会有几个守护进程在后台运行,如NameN...转载 2021-04-16 21:13:32 · 734 阅读 · 0 评论 -
Spark任务的core,executor,memory资源配置方法
Spark任务的core,executor,memory资源配置方法1、概述执行Spark任务,资源分配是很重要的一方面。如果配置不准确,Spark任务将耗费整个集群的机缘导致其他应用程序得不到资源。怎么去配置Spark任务的executors,cores,memory,有如下几个因素需要考虑:数据量 任务完成时间点 静态或者动态的资源分配 上下游应用2、Spark应用当中术语的基本定义:Partitions: 分区是大型分布式数据集的一小部分。 Spark使用分区来管理数据,.转载 2021-04-16 20:56:00 · 7149 阅读 · 2 评论 -
Tableau导出sql语句和性能监控
1. 帮助-设置和性能-启动性能记录2. alt+F5刷新3. 帮助-设置和性能-停止性能记录弹出窗口4. 点击柱体可查看对应sql语句5. 右键点击柱体查看数据-完整数据-全部导出可导出csv文件,其中command栏包含sql语句参考:https://blog.csdn.net/weixin_43982705/article/details/107941132 7 Steps To Export SQL Statements From Tableau...转载 2020-09-01 15:06:33 · 1018 阅读 · 0 评论