qq_38924865的博客

原创 Rtree以及3d-Rtree

R树

原创 idea上创建spark方式

一，只做一次的事情hadoop，spark，scala，maven，scala插件，1，下载hadoop，scala，spark，jdk。版本要适配，下面为一组搭配。下载后解压，然后配置环境变量hadoop-2.7.0scala-2.11.12spark-2.4.0JDK 1.8.0配置scala 环境变量 和 配置JDK环境变量 一样 系统变量新增 ： SCALA_HOME 值 C:\Program Files (x86)\scala （scala安...

原创 一些重要链接

可以通过这个网站查英文论文dblp: computer science bibliography

原创 spark分区

一，前言1，概念输入文件可能是一个或者多个文件file。 而一个文件是划分成多个文件块来处理的，文件块就是block。 spark读取文件的时候会设置解析文件的格式，一般是将若干个Block合并成一个输入分片，称为InputSplit。注意InputSplit不能跨越文件。 随后将为这些输入分片生成具体的Task。InputSplit与Task是一一对应的关系。 Task经过机器的处理产生结果放到partition，Task和partition不是绝对相等。Task个数相当于任务数个数...

原创 mapreduce实现wordcount 详细解析

总括Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，MapReduce则为海量的数据提供了计算。HDFS是Google File System（GFS）的开源实现，MapReduce是Google MapReduce的开源实现。HDFS和MapReduce实现是完全分离的，并不是没有HDFS就不能MapReduce运算。1、MapReduce整体流程最简单的MapReduce应用程序至少包含 3 个部分：一个 Map 函数、一个 Reduce 函数

原创 面向对象unit05，static final 常量，抽象方法抽象类，接口

一，static final常量：1）必须声明的同时初始化2）不能改变，通过类名来访问。3）建议:建议常量名所有字母都大写4）在编译时候会自动替换为具体的值，比static定义的效率会更高二，抽象方法抽象类1.抽象方法:1）由abstract修饰2）只有方法的定义，没有方法体，大括号都没。3）有抽象方法，那么这个类一定是抽象类。2.抽象类:1）由abstract修饰2）可以包含抽象方法，也可以包含普通方法。3）abstract和final不能同时修饰一个类4)包含抽象方法的类，.

原创 面向对象unit04，方法重写，重写重载区别，package和import，访问控制修饰符，成员变量，静态变量静态方法静态块，final

一，方法的重写方法的重写:1，发生两个类中，并且是子父的关系，方法名相同，参数列表相同，我们说，子类重写了父类的方法2，重写方法被调用时，看对象的类型当方法被重写时，调哪个方法看对象重写需要遵循两同两小一大原则。1，两同：1）方法名称相同2）参数列表相同2，两下：1）子类方法的返回值类型小于或者等于父类的1.1）void和基本类型时，必须相同1.2）引用类型时候，可以小于或者等于2）子类方法的抛出异常小于或者等于父类的–异常3，一大：1）子类方法的访问权限大于或者等于父类的—.

原创 面向对象unit03，堆栈方法区的内存管理，成员变量，局部变量，继承，super，向上造型

一,内存管理：由jvm来管理1）堆：对象和成员变量。1.1）放两个。用于存储所有new出来的对象（包括成员变量=类内方法外的变量+new的类名）1.2）成员变量的生命周期：创建（new）对象时存在堆中，对象被gc回收时候则被回收1.3）垃圾回收器（gc）不定时到堆中查看，看到垃圾就回收。垃圾：没有任何引用所指向的对象。回收过程是透明的，并不是一看到垃圾就回收，想马上回收可以调用System.gc();1.4）内存泄漏：不再使用的对象没有及时的回收建议：当对象不再使用的时候，及时的设置为nu.

原创 面向对象unit02,重载，类和public，构造方法。this，引用类型数组

一，重载1，方法的重载：（1）同一个类里面，方法名相同，参数列表不同（2）编译器在编译的时候自动根据方法的签名来绑定class Aoo{void pay(){}void pay(double d){}void pay(String s1,String s2){}void pay(int a,double d){}void pay(double d,int a){}void pay(int num,double dou){} //错误int pay(){} //错误}用户:voi.

原创 面向对象unit01，面向过程面向对象，类和对象，堆和栈，null，面向对象基本步骤。

一，面向过程和面向对象的区别面向过程编程:一堆方法,调来调去面向对象编程:以对象为核心，围绕着对象做操作面向接口编程:面向对象的基础之上，抽接口复用性好、可维护性好、可扩展性好、移植性好…面向过程:固定（一步一个脚印，明确步骤，如画一个圆形）面向对象:抽象（只有一个方向，不注重步骤，如画一个图形，随便怎么画）A,B,C只放在一个地方更合适—抽象所在面向过程的缺陷：缺陷一:缺乏对数据的封装缺陷二:数据和方法分离状态，对数据的封装二，类和对象1.现实世界是由很多对象组成的2.现实.

原创 java基础unit04-数组描述，定义，初始化，访问，复制

原创 java基础unit03-运算符，分支结构

一：.运算符1算术：+，-，*,/,%,++,--，2关系：>,<,>=,<=,==,!=,然后会有返回值关系成立就是true，不成立就是false，3，逻辑： 1）&&：逻辑与。并且的关系两真才真 2）||：逻辑或。或者的关系，一真就真 3）！：逻辑非。取反，非真则假，非假则真。 干一件事情由一个条件控制就是条件，由多个条件控制就是逻辑。4，赋值:建议使用扩展赋值 a+=5; 相当于a=a+.

原创 java基础unit02-变量，基本数据类型。类型装换，Scanner用法

回顾:1.Linux2.java运行环境.java，编译.class，JVM加载.class并运行.classWindowsJVM—windowsLinuxJVM-----LinuxIOSJVM-------ISO…JVM-------…跨平台，一次编程到处使用JVM:虚拟机JRE:运行环境JDK:开发工具包JRE=JVM+java系统类库----运行的最小环境JDK=JRE+编译、运行等开发工具—开发的最小环境环境变量----Eclipse(自动去找)3.Eclipse一.

原创 java基础unit01-Linux，java运行环境，Eclipse

前期进度比较慢前期会比较难，随着时间的积累，慢慢感觉好了你想学，就适合学，就能学好思路是学出来的-----大概1个多月有些思路工作经验--------碰到的问题多，解决的问题多有思路多想，多练练，想想得越多，思路得越多，工资越高按照老师的要求做----满意的工作时间安排:9:00----12:00回顾20分钟到30分钟14:00—17:0017:00—17:30答疑时间1.计算机的分类:1.PC机:个人电脑2.服务器:大数据的处理的高性能计算机3.智能终端:可视电话、智能手