RDD操作

RDD支持两种操作:转化操作和行动操作,转化操作是返回一个新的RDD的操作比如map()和filter(),行动操作则是向驱动器程序返回结果或把结果写入外部系统的操作，会触发实际的计算比如count(),first(),简而言之就是转化操作返回的是RDD，而行动操作返回的是其他数据类型,下面来一个转化操作的列子:

文本文件内容

现在遍历文本文件,选出里面含error的错误日志：

/**
 * Created by hbin on 2016/12/9.
 */
import java.util.Arrays;
import java.util.List;

import breeze.optimize.linear.LinearProgram;
import io.netty.util.internal.StringUtil;
import org.apache.commons.lang.StringUtils;

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.FlatMapFunction;
import org.apache.spark.api.java.function.Function;


/**
 * spark对数据的核心抽象  RDD（弹性分布式数据集）
 * RDD就是分布式的元素集合,在spark中对数据的所有操作不外乎创建RDD
 * 转化已有RDD以及调用RDD操作进行求值,spark会自动将RDD中的数据分发到集群上，
 * 并将操作并行化
 */
public class BasicMap {
    public static void main(String[] args) throws Exception {
        SparkConf sparkConf = new SparkConf().setAppName("JavaSparkPi");
        JavaSparkContext jsc = new JavaSparkContext(sparkConf);

        JavaRDD<String> inputRDD=jsc.textFile("E:\\sparkProject\\log.txt");
        JavaRDD<String> errorsRDD=inputRDD.filter(new Function<String, Boolean>() {
            @Override
            public Boolean call(String s) throws Exception {
                return s.contains("error");
            }
        });
        System.out.println("errorsRDD="+errorsRDD.collect());
    }
}

执行结果：

errorsRDD=[error:, error:, error:, error:, error:, error:, error:, error:, error:, error:, error:, error:, error:, error:]

日志分析过程中创建出的RDD谱系图

spark中的RDD就是一个不可变的分布式对象集合,每个RDD都被分为多个分区,这些分区运行在集群中的不同节点上。RDD可以包含python,Java,Scala中的任意类型的对象。

RDD中的行动操作

/**
 * Created by hbin on 2016/12/9.
 */
import java.io.Serializable;
import java.util.Arrays;
import java.util.List;

import breeze.optimize.linear.LinearProgram;
import io.netty.util.internal.StringUtil;
import org.apache.commons.lang.StringUtils;

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.FlatMapFunction;
import org.apache.spark.api.java.function.Function;
import org.apache.spark.api.java.function.Function2;


/**
 * spark对数据的核心抽象  RDD（弹性分布式数据集）
 * RDD就是分布式的元素集合,在spark中对数据的所有操作不外乎创建RDD
 * 转化已有RDD以及调用RDD操作进行求值,spark会自动将RDD中的数据分发到集群上，
 * 并将操作并行化
 */
public class BasicMap {
    public static void main(String[] args) throws Exception {
        SparkConf sparkConf = new SparkConf().setAppName("JavaSparkPi");
        JavaSparkContext jsc = new JavaSparkContext(sparkConf);

        JavaRDD<Integer> RDD1=jsc.parallelize(Arrays.asList(1,2,3,4,5,6,7,8,9),6);// 并行化
        Integer sum=RDD1.reduce(new Function2<Integer, Integer, Integer>() {
            @Override
            public Integer call(Integer x, Integer y) throws Exception {
                return x*y;
            }
        });
        System.out.println("collect()="+RDD1.collect());
        System.out.println("count()="+RDD1.count());
        System.out.println("countByValue()="+RDD1.countByValue());
        System.out.println("take(3)="+RDD1.take(3));
        System.out.println("top()="+RDD1.top(3));
        System.out.println("takeOrdered(3)="+RDD1.takeOrdered(3));
        System.out.println("takeSample(true,3)="+RDD1.takeSample(true,3));

    }
}

执行结果

collect()=[1, 2, 3, 4, 5, 6, 7, 8, 9]

count()=9

countByValue()={5=1, 1=1, 6=1, 9=1, 2=1, 7=1, 3=1, 8=1, 4=1}

take(3)=[1, 2, 3]

top()=[9, 8, 7]

takeOrdered(3)=[1, 2, 3]

takeSample(true,3)=[2, 6, 5]