spark之SparkCore代码入门02

最新推荐文章于 2023-07-04 23:21:18 发布
最新推荐文章于 2023-07-04 23:21:18 发布
阅读量308 收藏
点赞数
分类专栏： # spark 文章标签： spark 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39331255/article/details/111397384
版权

1. Spark项目的创建

​ 说明一点，这里创建的项目，比之前稍微复杂一点点–基于maven的聚合和继承项目。
创建父工程，再创建多个子模块，这里用到spark-core
因为我不想再重新截图，所以用之前的，模块名会不完全相同，但都是一个意思，但能看懂
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
注意：父模块，一般不做开发，也就可以删除src相关目录；主要的作用就是用来管理所有的子模块，管理整个项目中使用到的依赖及其版本。
在这里插入图片描述
创建子目录–通用common
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2. 项目编码

1. 添加模块为scala项目

第一步，在src下面创建一个scala目录，用于编写scala代码，并且将scala的目录指定为source root
在这里插入图片描述
发现无法直接创建scala的class
在这里插入图片描述
修改project structure，添加scala模块到core中
在这里插入图片描述

给core模块添加
在这里插入图片描述

2. 本地编码运行

需要注意的是，入口类为SparkContext。

不同版本有不同的SparkContext，java版本的是JavaSparkContext，scala的版本就是SparkContext；SparkSQL的入口有SessionContext；SparkStreaming的入口又是StreamingContext。

加载本地数据"C:\Users\70201\Desktop\wordcount.txt"
加载hdfs数据"hdfs://hadoop003:9000/data/spark/hello.txt"

master: 代表的spark作业运行的方式，常见的运行方式有local模式、standalone模式、yarn模式
local模式的写法： spark作业在本地来进行运行，没有提交到集群中去
    local       ：为当前spark作业分配一个工作线程
    local[N]    ：为当前spark作业分配N个工作线程，但是不能超过电脑可用个工作线程
    local[*]    ：为当前spark作业分配可用个工作线程
    local[R, N] ：为当前spark作业分配N个工作线程，如果提交作业失败，会进行最多R次的重试
standalone模式的写法
    普通的分布式：spark://<ip>:<port>
    ha   ：     spark://<ip1>:<port1>,<ip2>:<port2>
yarn模式的写法
   master=yarn
注意：
  standalone式和yarn模式要通常配合deploy-mode来进行使用
  deploy-mode意为作业运行的方式，有两个选项：
    client  ：默认值，driver或者sparkContext的创建与运行实在作业提交的机器上面完成
    cluster ：driver的创建和运行，与executor的创建和运行都是在集群中来完成，也就是都在worker上面来完成创建初始化并运行
  通常，生产的deploy-mode用cluster，测试和开发用client。
object ScalaWordCount {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setMaster("local[*]").setAppName(ScalaWordCount.getClass.getSimpleName)
    val sparkContext = new SparkContext(conf)
    val rdd:RDD[String] = sparkContext.textFile("C:\\Users\\70201\\Desktop\\wordcount.txt")
    rdd.flatMap(_.split("\\s+")).map((_,1)).reduceByKey(_+_).foreach({case(word,count)=>println(word+"---"+count)})
    sparkContext.stop()
  }
}

3. spark日志的管理

全局管理

就是项目classpath下面引入log4j.properties配置文件进行管理

# 基本日志输出级别为INFO，输出目的地为console
log4j.rootCategory=INFO, console

log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n

# 输出配置的是spark提供的webui的日志级别


log4j.logger.org.spark_project.jetty=INFO
log4j.logger.org.spark_project.jetty.util.component.AbstractLifeCycle=ERROR
log4j.logger.org.apache.spark.repl.SparkIMain$exprTyper=INFO
log4j.logger.org.apache.spark.repl.SparkILoop$SparkILoopInterpreter=INFO
log4j.logger.org.apache.parquet=ERROR
log4j.logger.parquet=ERROR

局部管理

就是在当前类中进行日志的管理。

import org.apache.log4j.{Level, Logger}

Logger.getLogger("org.apache.spark").setLevel(Level.WARN)
Logger.getLogger("org.apache.hadoop").setLevel(Level.WARN)
Logger.getLogger("org.spark_project").setLevel(Level.WARN)

4.打包spark程序

打包程序在下面
如果不需要第三方依赖的打包的话，直接使用idea打包：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
打包完成

5.提交到虚拟机本地

spark程序提交到集群，就应该是通过spark-submit脚本来完成的。

spark-submit-wc-local.sh脚本

#!/bin/sh

SPARK_HOME=/opt/module/spark-2.4.3

${SPARK_HOME}/bin/spark-submit \
--class com.offcn.bigdata.spark.RemoteScalaWordCountApp \
--master local \
--deploy-mode client \
/root/spark/wc.jar \
hdfs://hadoop003:9000/test/input/wordcount.txt

打包程序

package com.offcn.bigdata.spark

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

/**
 * @author ljh
 * @create 2020-12-06 18:17
 */
object RemoteScalaWordCountApp {
  def main(args: Array[String]): Unit = {
    if(args == null || args.length != 1) {
      println(
        """
          |Usage: <input>
          |""".stripMargin)
      System.exit(-1)
    }

    val Array(input) = args

    val conf = new SparkConf()
      .setAppName(s"${RemoteScalaWordCountApp.getClass.getSimpleName}")
    val sc = new SparkContext(conf)
    val lines: RDD[String] = sc.textFile(input)//加载hdfs的文件

    println("lines rdd's partition is: " + lines.getNumPartitions)
    //calc word's count
    val words:RDD[String] = lines.flatMap(line => line.split("\\s+"))
    val pairs:RDD[(String, Int)] = words.map(word => (word, 1))
    val ret:RDD[(String, Int)] = pairs.reduceByKey(myReduceFunc)

    //export data to external system
            ret.foreach{case (word, count) => {
                println(word + "--->" + count)
            }}
    //ret.saveAsTextFile(output)

    sc.stop()
  }
  def myReduceFunc(v1: Int, v2: Int): Int = {
    //        val i = 1 / 0 //为了验证lazy
    v1 + v2
  }
}

6.提交到spark集群

spark-submit-wc-standalone-client.sh

#!/bin/sh

SPARK_HOME=/opt/module/spark-2.4.3

${SPARK_HOME}/bin/spark-submit \
--class com.offcn.bigdata.spark.RemoteScalaWordCountApp \
--master spark://hadoop003:7077 \
--deploy-mode client \
--executor-cores 1 \
--total-executor-cores 2 \
--driver-memory 600M \
--executor-memory 600M \
/root/spark/wc.jar \
hdfs://hadoop003:9000/test/input/wordcount.txt

spark-submit-wc-standalone-cluster.sh

将driver提交到集群运行，driver会读取不到本地的wc.jar，所以要把wc.jar提交到hdfs

#!/bin/sh

SPARK_HOME=/opt/module/spark-2.4.3

${SPARK_HOME}/bin/spark-submit \
--class com.offcn.bigdata.spark.RemoteScalaWordCountApp \
--master spark://hadoop003:7077 \
--deploy-mode cluster \
--driver-cores 1 \
--executor-cores 1 \
--total-executor-cores 2 \
--driver-memory 600M \
--executor-memory 600M \
hdfs://hadoop003:9000/spark/wc.jar \
hdfs://hadoop003:9000/test/input/wordcount.txt

7.疑惑

一个疑惑的问题，在local的方式中，可以看到foreach的结果，但是client模式下面就看不到这个结果，这是为何？
在这里插入图片描述
算子操作都是在worker中执行的，包括foreach操作，所以要想看结果就应该去worker上面查看，而不是提交作业的本机。

8.提交到yarn集群

spark基于yarn集群的运行方式，是在国内最常见的一种方式。

package com.offcn.bigdata.spark

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

/**
 * @author ljh
 * @create 2020-12-06 18:17
 */
object RemoteScalaWordCountApp {
  def main(args: Array[String]): Unit = {
    if(args == null || args.length != 2) {
      println(
        """
          |Usage: <input><output>
          |""".stripMargin)
      System.exit(-1)
}

val Array(input,output) = args

    val conf = new SparkConf()
      .setAppName(s"${RemoteScalaWordCountApp.getClass.getSimpleName}")
    val sc = new SparkContext(conf)
    val lines: RDD[String] = sc.textFile(input)//加载hdfs的文件

    println("lines rdd's partition is: " + lines.getNumPartitions)
    //calc word's count
    val words:RDD[String] = lines.flatMap(line => line.split("\\s+"))
    val pairs:RDD[(String, Int)] = words.map(word => (word, 1))
    val ret:RDD[(String, Int)] = pairs.reduceByKey(myReduceFunc)

    //export data to external system
            ret.foreach{case (word, count) => {
                println(word + "--->" + count)
            }}
    ret.saveAsTextFile(output)

sc.stop()
  }
def myReduceFunc(v1: Int, v2: Int): Int = {
      //        val i = 1 / 0 //为了验证lazy
  v1 + v2
    }
}

spark-submit-wc-yarn-client.sh

两个参数，指定输入和输出的位置

 #!/bin/sh
    
        SPARK_HOME=/opt/module/spark-2.4.3
        
        ${SPARK_HOME}/bin/spark-submit \
        --class com.offcn.bigdata.spark.RemoteScalaWordCountApp \
        --master yarn \
        --deploy-mode client \
        --executor-cores 1 \
        --num-executors 1 \
        --driver-memory 600M \
        --executor-memory 600M \
        /root/spark/wc1.jar \
        hdfs://hadoop003:9000/test/input/wordcount.txt \
        hdfs://hadoop003:9000/spark/wc

spark-submit-wc-yarn-cluster.sh

 #!/bin/sh
    
    SPARK_HOME=/opt/module/spark-2.4.3
    
    ${SPARK_HOME}/bin/spark-submit \
    --class com.offcn.bigdata.spark.RemoteScalaWordCountApp \
    --master yarn \
    --deploy-mode cluster \
    --driver-cores 1 \
    --executor-cores 1 \
    --num-executors 1 \
    --driver-memory 600M \
    --executor-memory 600M \
    hdfs://hadoop003:9000/spark/wc1.jar \
    hdfs://hadoop003:9000/test/input/wordcount.txt \
    hdfs://hadoop003:9000/spark/wc1

9.报错

大家直接基于yarn模式进行运行，肯定会报错，一般报的错误就是虚拟内存超过的物理内存这个错误。
Container killed by YARN for exceeding memory limits. 15.6 GB of 15.5 GB physical memory used.
解决问题

spark core/spark sql scala样例代码
OliverChrist的博客
01-18 2530
日志数据：第一个字段为姓名，第二个字段为性别，第三个字段为上网时间 ZhangSan,male,20 Lisi,female,80 WangWu,female,60 WangMing,female,70 ZhangHua,male,50 LiHong,female,60 YinHui,male,50 LiMing,female,90 ZhuLucy,female,60
“Spark三剑客”之SparkCore和SparkSql学习笔记（零基础入门）（一）
默主归沙的博客
04-06 3711
目录 1 Spark的介绍 1.1 Spark的定义 1.2 Spark为什么比MapReduce快？ 1.3 RDD 弹性式分布式数据集 1.4 MasterURL 1 Spark的介绍 1.1 Spark的定义 它是一个集成了离线计算、实时计算、SQL查询、机器学习、图计算为一体的一站式框架 。 一站式的体现：既可以做离线计算（批处理），也可以做其他的（SQL查询、机器学习、图计算） flink对于机器学习、图计算支持真的的不太友好哈。 1.2 Spark为什么比MapRe
spark-core 源码
weixin_60343465的博客
11-14 926
就是计算一下你读取的文件一共将分成多少个切片（或者说分区） 首先切片大小肯定小于物理文件块的大小用的是 InputFormat接口下的 FileInputFormat2.compute这个函数是指明 我已经分区好了，未来我这个计算要向分区所在的哪个地方移动去，也就是计算向数据移动 我要找文件所在物理块号这个函数其实返回的就是一个迭代器，里面有hasNext（）和getNext()方法1. cartesian笛卡尔积笛卡尔积操作 cartesian函数。
sparkcore代码知识点
weixin_69402201的博客
06-12 155
RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象。代码中是一个抽象类，它代表一个弹性的、不可变、可分区、里面的元素可并行计算的集合。在Spark中创建RDD的创建方式可以分为三种：从集合中创建RDD、从外部存储创建RDD、从其他RDD创建。1）从集合中创建RDD，spark主要提供了两种函数：parallelize和makeRDDval list = List(1, 2, 3, 4) // 从集合创建rdd val intR
Spark源码-Core RDD部分代码解析（一）
weixin_43409304的博客
04-13 414
1.RDD抽象类概述 构造方法与成员属性 abstract class RDD[T: ClassTag]( @transient private var _sc: SparkContext, @transient private var deps: Seq[Dependency[_]] ) extends Serializable with Logging { SparkContext 是通往 Spark 集群的唯一入口，可以用来在 Spark 集群中创建 RDDs 、累...
sparkcore
qq_43827516的博客
11-11 343
第1章 Spark概述 1.4 Spark or Hadoop Hadoop的MR框架和Spark框架都是数据处理框架，那么我们在使用时如何选择呢？ Hadoop MapReduce由于其设计初衷并不是为了满足循环迭代式数据流处理，因此在多并行运行的数据可复用场景（如：机器学习、图挖掘算法、交互式数据挖掘算法）中存在诸多计算效率等问题。所以Spark应运而生，Spark就是在传统的MapReduce 计算框架的基础上，利用其计算过程的优化，从而大大加快了数据分析、挖掘的运行和读写速度，并将计算单元缩小到更
大数据入门spark3.0入门到精通 1-8day 代码-笔记.zip
02-21
2021贺岁大数据入门spark3.0入门到精通资源简介...共课程包含9个章节：Spark环境搭建，SparkCore，SparkStreaming，SparkSQL，StructuredStreaming，Spark综合案例，Spark多语言开发，Spark3.0新特性，Spark性能调优 。
Spark学习总结-入门.rar_Spark!_spark_spark入门_大数据 spark
09-24
Spark提供了一个交互式的Shell，允许用户直接在命令行环境中运行Spark代码，进行数据探索和调试。 6. **Spark部署模式** Spark可以运行在多种模式下，包括本地模式、standalone模式、Mesos、YARN和Kubernetes，以...
SparkCore快速入门详解
11-06
本篇文章将详细讲解SparkCore的基本概念、架构、核心功能以及如何进行快速入门。 一、SparkCore简介 SparkCore是Spark框架的基石，它提供了分布式数据处理、容错性以及内存计算的基础。SparkCore通过RDD（Resilient...
SparkCore入门编程
默主归沙的博客
03-26 1070
一、Spark的概述 1.1 Hadoop的回顾 版本号的发展 hadoop1.x : hdfs 和 mapreduce hadoop2.x : hdfs、mapreduce、yarn、common hadoop3.x : hdfs、mapreduce、yarn、common hadoop的重要模块组成 hdfs : 分布式文件存储系统 需要搭建和部署 mapreduce: 离线分析和计算框架 不需要搭建， 是程序要要开发的逻辑代码 yarn :
spark-core_2.11-1.6.0.jar
05-24
spark-core_2.11-1.6.0.jar spark-core_2.11-1.6.0.jar
spark-core_2.11-1.6.1.jar
09-21
spark-core-2.11-1.6.1.jar，对应1.61版本的spark。欢迎下载~
spark core源码阅读-RDD详细介绍(四)
吃货先生的博客
02-11 4856
之前对RDD有一个大体概念了解,这一节我们需要深入了解它,了解在源码中到底是什么, 怎么产生的,给个rdd之间怎么依赖的,最后又怎么生成spark job 我们还是先从一个例子下手: val sc = new SparkContext(sparkConf) val res = sc .textFile(args(0)) .flatMap(line =&gt; line.spli...
大数据学习之Spark-core常用代码示例
y_wang_的博客
07-25 787
spark-core中常用代码块
SparkCore之运行架构
liweihope的博客
06-08 4144
参考官网：http://spark.apache.org/docs/latest/cluster-overview.html Cluster Mode Overview 集群模式概述 This document gives a short overview of how Spark runs on clusters, to make it easier to understand the co...
【Spark】SparkCore
最新发布
qq_70770395的博客
07-04 1471
spark 2
Spark-core笔记
weixin_42386929的博客
08-16 584
Spark-core笔记 Spark框架简介 spark 配置 shell启动 local[2] 启动模式 spark分类 简介 spark运行模式 spark shell 结构图、运行模式解析 RDD 五大特点 运行模式与配置 Spa...
spark core 总结
mizui_i的博客
12-05 391
一.Spark 架构设计 架构设计图 二.相关术语名词解释 RDD (Resilient Distributed DataSet) 弹性分布式数据集，是对数据集在spark存储和计算过程中的一种抽象。 是一组只读、可分区的的分布式数据集合。 一个RDD 包含多个分区Partition(类似于MapReduce中的InputSplit)，分区是依照一定的规则的，将具有相同规则的属性的数据记录放在一起。 横向上可切分并行计算，以分区Partition为切分后的最小存储和计算单元。 .
Spark Core：第二章 执行spark程序
落落free的博客
05-02 734
Spark集群执行程序：计算圆周率 文章目录Spark集群执行程序：计算圆周率一、Standalone模式1. Standalone-client 模式提交任务2. Standalone-cluster 模式提交任务3. Standalone-client 模式与Standalone-cluster 模式的对比二、Yarn模式1. Yarn-client 模式提交任务2. Yarn-cluste...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值