weixin_42612033的博客

spark 的map不会自动生成key，只是对每一个行数据进行一个操作，在java中要自己把它再mapToPair成一个pairflatmap FlatMapFunction的参数是输入的类型和输出的iterator的类型JavaRDD<String> words = lines.flatMap(new FlatMapFunction<String, String>...

Java 变量Java 中主要有如下几种类型的变量局部变量类的方法中的变量。类变量（静态变量）类变量也声明在类中，方法体之外，但必须声明为static类型。无论一个类创建了多少个对象，类只拥有类变量的一份拷贝。成员变量（非静态变量）独立于方法之外的变量，用 static 修饰。public class Variable{ static int allCli...

文件读写FileInputStream该流用于从文件读取数据，它的对象可以用关键字 new 来创建。有多种构造方法可用来创建对象。可以使用字符串类型的文件名来创建一个输入流对象来读取文件：InputStream f = new FileInputStream("C:/java/hello");也可以使用一个文件对象来创建一个输入流对象来读取文件。我们首先得使用 File() 方法来...

Mapper类public class Mapper<KEYIN, VALUEIN, KEYOUT, VALUEOUT>KEYIN: 框架底层提供的类型，表示输入文件行首偏移量类型，即long类型，对应序列化类型为LongWritableVALUEIN:框架底层提供的类型,表示输入文件行内容类型，即String类型，对应序列化类型为TextKEYOUT:mapper向下一层传...

类型BooleanWritable、IntWritable、Text等#方法public class VIntWritable implements WritableComparable { private int value; …… // 设置VIntWritable的值 public void set(int value) { this.value = value...