尘土-CSDN博客

原创 spark-submit提交jar包的一些问题

1.代码 object ScalaWordCount { def main(args: Array[String]): Unit = { val conf = new SparkConf() conf.setAppName("ScalaWordCount") val sc = new SparkContext(conf) val lineRDD = sc.textFile(args(0)) val wordRDD = lineRDD.flatMap {_.spli

2020-09-14 22:47:55 846

原创 Hadoop的分块、分片分析

org.apache.hadoop.mapred.FileInputFormat中268行，getSplits方法实现： public InputSplit[] getSplits(JobConf job, int numSplits) throws IOException { Stopwatch sw = new Stopwatch().start(); FileStatus[] files = listStatus(job); // Save the numbe

2020-09-10 23:54:27 288

原创 JAVA 空间分配担保

本内容节选自《深入理解java虚拟机》在发生Minor GC之前，虚拟机会先检查老年代最大可用的连续空间是否大于新生代所有对象总空间，如果这个条件成立，那么Minor GC可以确保是安全的。如果不成立，则虚拟机会查看HandlePromotionFailure设置值是否允许担保失败。如果允许，那么会继续检查老年代最大可用的连续空间是否大于历次晋升到老年代对象的平均大小，如果大于，将尝试着进行一次...

2019-03-21 15:21:38 633

原创面向对象3

1、代码块的概述和分类 A:代码块概述在Java中，使用{}括起来的代码被称为代码块。 B:代码块分类根据其位置和声明的不同，可以分为局部代码块，构造代码块，静态代码块，同步代码块(多线程讲解)。 C:常见代码块的应用 a:局部代码块在方法中出现；限定变量生命周期，及早释放，提高内存利用率 ...

2018-12-13 08:47:50 142 1

原创面向对象2

1、构造方法概述和格式 A:构造方法概述和作用创建对象,给对象中的成员进行初始化 B:构造方法格式特点 a:方法名与类名相同 b:没有返回值类型，连void都没有 c:没有具体的返回值 C:构造方法注意事项 a:如果我们没有给出构造方法，系统将自动提供一个无参构造方法。 b...

2018-12-13 08:34:38 136

原创面向对象1

1、面向对象思想概述 A:面向过程思想概述我们来回想一下，这几天我们完成一个需求的步骤：首先是搞清楚我们要做什么，然后在分析怎么做，最后我们再代码体现。一步一步去实现，而具体的每一步都需要我们去实现和操作。这些步骤相互调用和协作，完成我们的需求。在上面的每一个具体步骤中我们都是参与者，并且需要面对具体的每一个步骤和过程，这就是面向过程最...

2018-12-13 08:24:14 83

原创 Java语言基础（数组概述）

数组分类：一维数组和二维数组一维数组: A:数组概念数组是存储同一种数据类型多个元素的集合。也可以看成是一个容器。数组既可以存储基本数据类型，也可以存储引用数据类型(后面讲解)。 B:数组定义格式格式1：数据类型[] 数组名；格式2：数据类型数组名[]; 举例： int[] a； ...

2018-12-05 22:05:13 147

原创循环语句及方法介绍

循环结构的分类 for循环和while循环 for循环 A格式： for(初始化表达式语句;判断条件语句;控制条件语句) { 循环体语句; } B执行流程： a:执行初始化表达式语句 b:执行判断条件语句,看其返回值是true还是false 如果是true，就继续执行如果是false，就结束循环 c:执行循环体语句; d:执行控制条件语...

2018-12-05 20:46:16 473

原创 Java语言基础(顺序结构语句)

2018-12-05 20:19:39 731

原创 Java概述

Hello World JRE与JDK区分 path环境变量配置的作用程序的执行需要使用外部指令javac，但是javac指令仅仅能在JDK安装目录下的bin目录下时候，因此程序只能写入bin目录。程序开发过程中，不能将源代码写入JDK的安装目录，因此需要将源程序保存到任意位置的指定目录(英文目录)，所以需要使javac指令在任意目录下可以运行。 path环境变量配置方创建新...

2018-11-29 12:43:24 83

原创 Java语言基础

知识概要知识点基本数据类型 (1): 数值型整数型字节数范围 byte 1(8bit) -128 ~ 127 short 2(16bit) ...

2018-11-29 12:43:09 90

qq_43460041的博客