spark
沐泽__
编程的意义是解决问题
展开
-
spark historyserver常用参数
spark historyserver原创 2022-01-12 23:37:47 · 1030 阅读 · 0 评论 -
spark on yarn和standalone的区别
相同点standalone是spark自身携带的资源管理框架,yarn是hadoop中的资源管理框架。都是对核心和内存进行管理和分配。不同点底层实现方式不一样。standalone是比较简单的资源管理,给application分配核心时,分配多少就占用多少,但核心和内存分配自由度大。而yarn是以container为单位分配的,粒度较粗,当然可以自行设置container中资源的大小。yarn中有fifo调度器,容量调度器,公平调度器这三种资源分配策略,可以动态实现资源的扩缩,更灵活,更重。另外,s原创 2022-01-10 22:20:47 · 2373 阅读 · 0 评论 -
SparkPI 蒙特卡罗求圆周率
目录一、算法二、代码一、算法二、代码package org.apache.spark.examplesimport scala.math.randomimport org.apache.spark.sql.SparkSessionobject SparkPi { def main(args: Array[String]): Unit = { val spark = SparkSession .builder.master("local[*]") .appN原创 2021-07-10 22:16:38 · 191 阅读 · 2 评论 -
spark submit提交wordcount任务
cd /usr/local/program/spark/default/bin./spark-submit --class org.apache.spark.examples.JavaWordCount --master spark://LBING:7077 /usr/local/program/spark/default/examples/jars/spark-examples_2.12-3.0.1.jar /usr/local/program/spark/default/examples/src/ma原创 2021-06-26 17:38:53 · 622 阅读 · 0 评论 -
spark submit提交方式
local模式代码:package top.lbing.hello;public class Hello { public String sayHello() { return "Hello Maven"; } public static void main(String[] args) { System.out.println(new Hello().sayHello()); }}提交:# $SPARK_H原创 2021-01-11 23:20:13 · 1308 阅读 · 0 评论 -
单节点安装spark
版本:系统版本:ubuntu 1804jdk:openjdk 11.0.7spark-3.0.0-bin-hadoop2.7.tgz步骤:1 的下载安装包:wget https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-3.0.0/spark-3.0.0-bin-hadoop2.7.tgz2 解压并建立软连接:# 到项目目录tar -xzvf spark-3.0.0-bin-hadoop2.7.tgzmkdir /usr/loc原创 2020-07-16 00:07:43 · 573 阅读 · 0 评论