暂未想好、-CSDN博客

创建test.sh文件 vim test.sh #添加如下代码 #!/bin/bash do_date=$1 echo '$do_date' echo "$do_date" echo "'$do_date'" echo '"$do_date"' echo `date` 查看shell脚本 testk.sh 2020-09-21 查看结果 $do_date 2020-09-21 '2020-09-21' "$do_date" 2020年 09月 21日星期一 17:50:29 CST 总结（1

2020-09-21 17:59:32 124

原创一些基本概念的理解

文章目录前言一、并发和并行1.1 形象化理解1.2 三个角度的对比解释二、程序、任务、进程和线程的联系与区别1.概念总结前言本文用来记录对编程学习中一些常见基本概念的理解提示：以下是本篇文章正文内容，下面案例可供参考一、并发和并行 1.1 形象化理解并行：同一时刻，可以同时处理事情的能力（强调同一时刻）举例：比如说一个食堂，有8个窗口，同一时刻可以有8个人同时打饭，那么我们就说这个食堂并行能力是8 并发：与单位时间相关，在单位时间内可以处理事情的能力（强调时间段内）举例：比如说一个食..

2020-09-16 20:36:31 123

原创 java.util.ConcurrentModificationException问题处理

在使用List集合Iterator 迭代器进行遍历操作，代码如下 @Test public void test6(){ List list = new ArrayList(); list.add("aa"); list.add("bb"); list.add("cc"); list.add("dd"); list.add("ee"); //需求：判断若集合中元素的值为“bb”, 则将其删

2020-09-06 14:21:24 92

原创 Spark学习总结一

一、Spark运行架构 Spark框架核心是一个计算引擎，采用了标准的master-slave标准。其中Driver表示Master，负责管理整个集群的作业任务调度。Excutor是slave，负责实际执行任务。二、任务提交流程 2.1 通用提交流程 2.2 Standalone模式 2.3 YARN模式 Spark应用程序提交到Yarn环境中执行的时候，一般会有两种部署执行的方式：Client和Cluster。两种模式，主要区别在于：Driver程序的运行节点。 2.4核心概念解释概念

2020-09-04 01:03:30 329

原创 Scala之模式匹配

1.模式匹配基本语法 /**变量 match { case 值 => 匹配后的逻辑 case 值 => 匹配后的逻辑 } */ import scala.io.StdIn object $01_MatchBasic { def main(args: Array[String]): Unit = { val x = StdIn.readLin

2020-09-01 00:02:54 77

原创 Scala之集合常用函数

Scala之集合常用函数 1.基本属性和常用操作 object TestList { def main(args: Array[String]): Unit = { //基本属性与常规操作 val list=List[Int](1,2,3,4,5,6) //查看集合的长度 println(list.length) println(list.size) //集合遍历 for(i<-list){ println(i) }

2020-08-31 20:59:55 266

原创 Hadoop生态体系常用脚本

Hadoop生态常用脚本 1.集群内分发脚本(Allsync) #!/bin/bash #1.判断参数个数，如果分发参数为空则返回错误 if [ $# -lt 1 ] then echo please give at least one argument exit; fi #2.遍历集群所有机器 for $host in hdpA hdpB hdpC do echo ============= $host ============ #3.遍历所有目录，逐个发送 for file in $@ do #

2020-08-20 16:55:01 219

原创 azkaban执行程序未能完成并报错Cannot request memory (Xms 98304 kb, Xmx 204800 kb) from system for job test_java的

azkaban执行程序未能完成并报错Cannot request memory (Xms 98304 kb, Xmx 204800 kb) from system for job test_java的解决方法在azkaban web客户端上传zip文件并执行时，进程缓慢并一直未能结束，查看log日志如下通过以上信息azkaban运行时内存不足，在网上查找得到解决方案，通过在配置文件azkabanexec/plugins/jobtypes/commonprivate.properties 中增加如下配

2020-08-13 00:44:11 389

原创 Kafka集群运行时不能全部启动的解决方法

Kafka集群运行时不能全部启动的解决方法在搭建kafka集群时，首先在主虚拟机A上安装然后分发至其余虚拟机，在修改配置文件server.properties时我们需要进行broker.id设置，各虚拟机的broker.id不能重复。在从虚拟机A分别向B和C分发完毕并进行broker.id设置和环境变量配置后依次启动集群，虚拟机A正常启动，虚拟机B和C启动时未报错，但在进程中无法查看，通过查看 kafka/logs/下的server.log可以发现报如下错误： Configured broker.id 1

2020-08-09 18:50:47 1532

weixin_45481968的博客

原创【无标题】

原创 Shell中单引号和双引号区别