- 博客(14)
- 收藏
- 关注
原创 idea上创建spark方式
一,只做一次的事情hadoop,spark,scala,maven,scala插件,1,下载hadoop,scala,spark,jdk。版本要适配,下面为一组搭配。下载后解压,然后配置环境变量hadoop-2.7.0scala-2.11.12spark-2.4.0JDK 1.8.0配置scala 环境变量 和 配置JDK环境变量 一样 系统变量新增 : SCALA_HOME 值 C:\Program Files (x86)\scala (scala安...
2021-10-15 21:12:30
4163
原创 spark分区
一,前言1,概念输入文件可能是一个或者多个文件file。 而一个文件是划分成多个文件块来处理的,文件块就是block。 spark读取文件的时候会设置解析文件的格式,一般是将若干个Block合并成一个输入分片,称为InputSplit。注意InputSplit不能跨越文件。 随后将为这些输入分片生成具体的Task。InputSplit与Task是一一对应的关系。 Task经过机器的处理产生结果放到partition,Task和partition不是绝对相等。Task个数相当于任务数个数...
2021-08-06 09:38:31
518
原创 mapreduce实现wordcount 详细解析
总括Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,MapReduce则为海量的数据提供了计算。HDFS是Google File System(GFS)的开源实现,MapReduce是Google MapReduce的开源实现。HDFS和MapReduce实现是完全分离的,并不是没有HDFS就不能MapReduce运算。1、MapReduce整体流程最简单的MapReduce应用程序至少包含 3 个部分:一个 Map 函数、一个 Reduce 函数
2020-12-05 19:58:44
5517
1
原创 面向对象unit05,static final 常量,抽象方法抽象类,接口
一,static final常量:1)必须声明的同时初始化2)不能改变,通过类名来访问。3)建议:建议常量名所有字母都大写4)在编译时候会自动替换为具体的值,比static定义的效率会更高二,抽象方法抽象类1.抽象方法:1)由abstract修饰2)只有方法的定义,没有方法体,大括号都没。3)有抽象方法,那么这个类一定是抽象类。2.抽象类:1)由abstract修饰2)可以包含抽象方法,也可以包含普通方法。3)abstract和final不能同时修饰一个类4)包含抽象方法的类,.
2020-07-27 18:10:40
185
原创 面向对象unit04,方法重写,重写重载区别,package和import,访问控制修饰符,成员变量,静态变量静态方法静态块,final
一,方法的重写方法的重写:1,发生两个类中,并且是子父的关系,方法名相同,参数列表相同,我们说,子类重写了父类的方法2,重写方法被调用时,看对象的类型当方法被重写时,调哪个方法看对象重写需要遵循两同两小一大原则。1,两同:1)方法名称相同2)参数列表相同2,两下:1)子类方法的返回值类型小于或者等于父类的1.1)void和基本类型时,必须相同1.2)引用类型时候,可以小于或者等于2)子类方法的抛出异常小于或者等于父类的–异常3,一大:1)子类方法的访问权限大于或者等于父类的—.
2020-07-27 10:44:09
167
原创 面向对象unit03,堆栈方法区的内存管理,成员变量,局部变量,继承,super,向上造型
一,内存管理:由jvm来管理1)堆:对象和成员变量。1.1)放两个。用于存储所有new出来的对象(包括成员变量=类内方法外的变量+new的类名)1.2)成员变量的生命周期:创建(new)对象时存在堆中,对象被gc回收时候则被回收1.3)垃圾回收器(gc)不定时到堆中查看,看到垃圾就回收。垃圾:没有任何引用所指向的对象。回收过程是透明的,并不是一看到垃圾就回收,想马上回收可以调用System.gc();1.4)内存泄漏:不再使用的对象没有及时的回收建议:当对象不再使用的时候,及时的设置为nu.
2020-07-26 17:47:07
120
原创 面向对象unit02,重载,类和public,构造方法。this,引用类型数组
一,重载1,方法的重载:(1)同一个类里面,方法名相同,参数列表不同(2)编译器在编译的时候自动根据方法的签名来绑定class Aoo{void pay(){}void pay(double d){}void pay(String s1,String s2){}void pay(int a,double d){}void pay(double d,int a){}void pay(int num,double dou){} //错误int pay(){} //错误}用户:voi.
2020-07-26 11:55:40
124
原创 面向对象unit01,面向过程面向对象,类和对象,堆和栈,null,面向对象基本步骤。
一,面向过程和面向对象的区别面向过程编程:一堆方法,调来调去面向对象编程:以对象为核心,围绕着对象做操作面向接口编程:面向对象的基础之上,抽接口复用性好、可维护性好、可扩展性好、移植性好…面向过程:固定(一步一个脚印,明确步骤,如画一个圆形)面向对象:抽象(只有一个方向,不注重步骤,如画一个图形,随便怎么画)A,B,C只放在一个地方更合适—抽象所在面向过程的缺陷:缺陷一:缺乏对数据的封装缺陷二:数据和方法分离状态,对数据的封装二,类和对象1.现实世界是由很多对象组成的2.现实.
2020-07-21 22:22:53
151
原创 java基础unit03-运算符,分支结构
一:.运算符1算术:+,-,*,/,%,++,--,2关系:>,<,>=,<=,==,!=,然后会有返回值关系成立就是true,不成立就是false,3,逻辑: 1)&&:逻辑与。并且的关系两真才真 2)||:逻辑或。或者的关系,一真就真 3)!:逻辑非。取反,非真则假,非假则真。 干一件事情由一个条件控制就是条件,由多个条件控制就是逻辑。4,赋值:建议使用扩展赋值 a+=5; 相当于a=a+.
2020-07-08 21:05:11
99
原创 java基础unit02-变量,基本数据类型。类型装换,Scanner用法
回顾:1.Linux2.java运行环境.java,编译.class,JVM加载.class并运行.classWindowsJVM—windowsLinuxJVM-----LinuxIOSJVM-------ISO…JVM-------…跨平台,一次编程到处使用JVM:虚拟机JRE:运行环境JDK:开发工具包JRE=JVM+java系统类库----运行的最小环境JDK=JRE+编译、运行等开发工具—开发的最小环境环境变量----Eclipse(自动去找)3.Eclipse一.
2020-07-08 11:29:04
273
原创 java基础unit01-Linux,java运行环境,Eclipse
前期进度比较慢前期会比较难,随着时间的积累,慢慢感觉好了你想学,就适合学,就能学好思路是学出来的-----大概1个多月有些思路工作经验--------碰到的问题多,解决的问题多有思路多想,多练练,想想得越多,思路得越多,工资越高按照老师的要求做----满意的工作时间安排:9:00----12:00回顾20分钟到30分钟14:00—17:0017:00—17:30答疑时间1.计算机的分类:1.PC机:个人电脑2.服务器:大数据的处理的高性能计算机3.智能终端:可视电话、智能手
2020-07-05 22:35:07
147
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人