spark 生产环境使用资源小结

最新推荐文章于 2021-07-05 01:59:44 发布
最新推荐文章于 2021-07-05 01:59:44 发布
阅读量204 收藏
点赞数
分类专栏： spark
原文链接：https://blog.csdn.net/lhxsir/article/details/88838515
版权

使用集群运行spark-sql计算 初始化大宽表 近二十年所有数据！

在这里插入图片描述

1700个Tasks（计算10min + 写入30min）

在这里插入图片描述

计算两年数据量：130G
计算三年数据量：190G
平均每年数据量：60G+（2000万条）
提交资源申请：
每个executor申请内存为16G

--executor-memory 12g \
--conf spark.yarn.executor.memoryOverhead=4096m \


由于进行repartition(10)操作
所以该集群最大处理数据量为10*16G =160G（两年多数据）

否则报错：

ExecutorLostFailure (executor 37 exited caused by one of the running tasks) Reason: Container killed by YARN for exceeding memory limits. 16.1 GB of 16 GB physical memory used. Consider boosting spark.yarn.executor.memoryOverhead.

 

编程人生之路
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
基于HDP版本的YDB安装部署
qq_33160722的博客
02-19 913
第三章 YDB依赖环境准备 一、硬件环境 硬件如何搭配，能做到比较高的性价比，不存在短板。合理的硬件搭配，对系统的稳定性也很关键。 1.CPU不是核数越高越好，性价比才是关键。        经常遇到很多的企业级客户，他们机器配置非常高，CPU有128 VCore，256G内存，但是只挂载了1块8T的SATA硬盘，千兆网卡。        这样的机器配置比较适合计算密集型的业
Spark生产优化总结
04-27
Spark生产优化总结 ，企业中Spark作业的调优等的总结，spark 任务详解、调度、资源分配
实际生产环境下Spark一些简单功能的实现
Hello_World0825的博客
07-02 328
Spark一些简单功能的实现 1、批量改变列名 val frame = spark.createDataFrame(Seq(("zhangsan", 18, "nan"),("lisi",20,"nv"))).toDF("name", "age", "sex") val str = "name:name1" if(str == ""){ frame.show() }else{ val map: Map[String, String] = str.split(",").map(data =>
生产环境实战spark （6）分布式集群 5台设备 Scala安装
段智华的博客
04-19 1400
生产环境实战spark （6）分布式集群 Scala安装1，scala官网下载scala安装到本地。这里使用spark 2.1.x版本，而spark 2.1 版本需要scala2.1.1版本以上的兼容版本，因此下载安装 scala-2.11.8下载地址：http://www.scala-lang.org/download/all.htmlSpark runs on Java 7+, Python
Spark企业级环境搭建
马超的博客
10-21 749
Chinahadoop-1节点安装Spark即可，在提交作业时由Yarn动态分发运行环境包括jar包、executor、driver等。不需要分布式部署Spark。 下载hadoop压缩包之后解压hadoop后，配置文件在…/etc/hadoop目录下。 下载Spark压缩包之后，解压进入Spark目录，找到conf进行配置。spark-env.sh（打通hadoop） spark-def
spark视频-第二期：Shark、SparkSQL
weixin_30443731的博客
10-04 161
第2期Spark亚太研究院决胜云计算大数据时代：100期Spark公益大讲堂之Shark、SparkSQL，视频地址：http://pan.baidu.com/share/link?shareid=3629554384&uk=4013289088&fid=277083257568965 王家林老师(邮箱：18610086859@126.comQQ:1740415547)...
hadoop&spark安装、环境配置、使用教程、应用项目（如分布式机器学习）源代码
最新发布
07-11
- 将训练好的模型部署到生产环境中，进行实时或批量的预测任务。 **注意：**实际开发过程中，应根据项目的具体需求和数据集的特点来调整和优化模型。 #### 四、总结 通过以上步骤，我们可以了解到Hadoop与Spark...
Spark环境搭建——HA高可用模式
01-20
Spark的高可用（HA）模式是为了克服其Standalone...这对于生产环境中的Spark部署至关重要，因为它能够降低因单点故障导致的服务中断风险。在实际操作中，确保正确配置和测试HA设置是保障Spark服务连续性的关键步骤。
Apache Spark常见面试题
02-19
yarn-cluster适用于生产环境，yarn-client适用于调试程序。 - **区别**：yarn-cluster模式下，AppMaster在后台运行，不与用户交互；而yarn-client模式下，AppMaster会在用户终端显示进度和日志信息。 - **Spark on...
Spark调优1
08-08
1.1.2、分配方式：在生产环境中，通常通过`spark-submit`命令来配置这些参数，如示例所示，可以设置Executor的数量、Driver的内存和Executor的内存及CPU核心数。 1.1.3、最大资源设定：资源的最大分配取决于集群的...
大数据之spark——1入门（概念、环境搭建与部署）
二毛的博客
07-05 1851
1 Spark概述 1.1 Spark是什么 Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。（没有存储功能） 1.2 Spark and Hadoop Spark是用Scala语言开发的快速、通用、可扩展的大数据分析引擎。 Spark Core中提供 了Spark最基础和最核心的功能。 Spark SQL是Spark用来操作结构化数据的组件，通过Spark SQL，用户可以使用SQL或者Apache Hive的SQL方言（HQL）来查询数据。 Spark Streaming 是Spark
Spark Streaming性能优化: 如何在生产环境下动态应对流数据峰值
微信搜：import_bigdata，大数据领域硬核原创作者
11-16 323
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！大数据真好玩点击右侧关注，大数据真好玩！1、为什么引入Backpress...
【spark】搭建生产环境的spark服务
lsr40的博客
01-30 1825
固定开头，菜鸡一只，如有说错，请大家批评指出，一定改正！ 事情是这样，当我们学习spark的时候，搭建一个环境是最简单也是最开始我们要做的， 一般情况下，我们都是使用虚拟机（linux机器）来搭建spark的环境，然后让spark运行在yarn上（其实也有其他几个模式，但是yarn模式是较常见的通用的资源管理平台） 但是本文要说的是如何在生产（环境）服务器上，搭建自己的spark环境   ...
spark 集群的分布式安装与可用性测试教程
努力变得不菜的菜鸡的博客
07-14 339
一 下载spark安装包 安装的第一步就是下载spark安装包，从官网进行下载 spark的官网是：http://spark.apache.org/downloads.html 下载的时候要按照自己hadoop的版本进行衡量，这里下载的是2.4.3版本 可以使用命令直接在服务器上进行下载 wget https://www.apache.org/dyn/closer.lua/spark/spark...
集群运行task数量总结
lhxsir的博客
03-27 440
使用集群运行spark-sql计算 初始化大宽表 近二十年所有数据！ 1600个Tasks（计算10min + 写入26min） 计算两年数据量：130G 计算三年数据量：190G 平均每年数据量：60G+（2000万条） 提交资源申请： 每个executor申请内存为16G --executor-memory 12g \ --conf spark.yarn.executor.memoryOv...
深度学习在spark平台上进入生产环境
02-24 2720
作者：吴书卫 本文整理自TalkingData T11大数据大会中吴书卫博士的演讲。 主持人：我们或多或少听到很多智能的东西，比如AlphaGo、智能驾驶汽车，这里面都蕴含着一个东西，就是这两年非常火热的机器学习的分支深度学习(Deep Learning)。提到Deep Learning的话，大家可能都知道今年Google开源的TensorFlow，像Caffe等等，有越来越多深度学习
Spark Local环境部署全攻略
对于生产环境，还需要考虑高可用性、安全性以及性能优化等方面的问题。 总结来说，这个Spark安装教程涵盖了从下载到配置的基本流程，帮助用户在本地环境中快速启动Spark服务，为后续的数据处理和分析工作提供了基础...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值