weixin_45481968的博客

创建test.sh文件vim test.sh#添加如下代码#!/bin/bashdo_date=$1echo '$do_date'echo "$do_date"echo "'$do_date'"echo '"$do_date"'echo `date`查看shell脚本testk.sh 2020-09-21查看结果$do_date2020-09-21'2020-09-21'"$do_date"2020年 09月 21日 星期一 17:50:29 CST总结（1

一、Spark运行架构Spark框架核心是一个计算引擎，采用了标准的master-slave标准。其中Driver表示Master，负责管理整个集群的作业任务调度。Excutor是slave，负责实际执行任务。二、任务提交流程2.1 通用提交流程2.2 Standalone模式2.3 YARN模式Spark应用程序提交到Yarn环境中执行的时候，一般会有两种部署执行的方式：Client和Cluster。两种模式，主要区别在于：Driver程序的运行节点。2.4核心概念解释概念

1.模式匹配基本语法/**变量 match { case 值 => 匹配后的逻辑 case 值 => 匹配后的逻辑 }*/import scala.io.StdInobject $01_MatchBasic { def main(args: Array[String]): Unit = { val x = StdIn.readLin

Hadoop生态常用脚本1.集群内分发脚本(Allsync)#!/bin/bash#1.判断参数个数，如果分发参数为空则返回错误if [ $# -lt 1 ]then echo please give at least one argument exit;fi#2.遍历集群所有机器for $host in hdpA hdpB hdpCdo echo ============= $host ============#3.遍历所有目录，逐个发送for file in $@do #

Scala之集合常用函数1.基本属性和常用操作object TestList { def main(args: Array[String]): Unit = { //基本属性与常规操作 val list=List[Int](1,2,3,4,5,6) //查看集合的长度 println(list.length) println(list.size) //集合遍历 for(i<-list){ println(i) }