Spark
文章平均质量分 62
ykqidev
不在沉默中爆发,就在沉默中灭亡--奋斗吧
展开
-
Centos7上安装配置Spark
该文章主要是描述单机版Spark的简单安装,版本为 spark-3.1.3-bin-hadoop3.2.tgz1、Spark 下载、解压、安装Spark官方网站: Apache Spark™ - Unified Engine for large-scale data analytics Spark下载地址:Index of /dist/sparktar -zxvf spark-3.1.3-bin-hadoop3.2.tgz -C /opt/modulemv spark-3.1.3-bi原创 2022-04-20 17:19:22 · 6512 阅读 · 0 评论 -
Spark-远程调试
第一种方法:1、启动需要调试项目jar命令:(参考原始命令)./bin/spark-submit --master yarn --deploy-mode cluster \--num-executors 8 \--executor-cores 4 \--executor-memory 12G \--driver-java-options "Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=18888" \--c原创 2022-01-26 18:18:55 · 2127 阅读 · 0 评论