使用Java编写Spark Streaming来做大数据处理（三）

本文主要内容为:

通过spark提取hive中的数据

先说一下主要的需求：从数据库种取姓名和编号，如果num为111，或者222，那编号为id，如果id为5为去除前两位，如果id为3位直接用；
如果num不等于111，或者222那么编号取id，
返回结果name_bianhao

（1）准备

SparkSession session = SparkConfig.Instance();
Encoder<String> stringEncoder = Encoders.STRING();
JavaSparkContext jsc = SparkConfig.Instance(session);

（2）提取

private static JavaPairRDD<String, String> getnameId (SparkSession session, String table_name, Encoder < String > stringEncoder, String time){
		//首先进入指定数据库
            session.sql("use shujukuName");

		//获取表中某个分区的字段
		//此处示例为提取表table_name的time分区中的name、Id和num字段，且保证name不为空

            JavaPairRDD<String, String> name_bianhao= session.sql("select name,Id,num from " + table_name+ " where p = '" + time + "' and name!= ''")

        //对提取到的两个数据都做处理

                    .map(new MapFunction<Row, String>() {
                        @Override
                        public String call(Row value) throws Exception {

                     //返回两个字段name Id num

                            return value.getString(0) + "," + value.getString(1)+ "," + value.getString(2);
                        }
                    }, stringEncoder).toJavaRDD().filter(new Function<String, Boolean>() {
                        @Override

                     //过滤字段长度正确的数据

                        public Boolean call(String v1) throws Exception {
                            String[] split = v1.split(",", -1);
                            return split[0].length() >0 && split[1].length() >= 3 &&split[2].length()==3;
                        }

                      //对数据按照按照逗号分割

                    }).map(new Function<String, String[]>() {
                        @Override
                        public String[] call(String s) throws Exception {
                            return s.split(",", -1);
                        }
             //此处做了一个判断，如果num字段为111，或者222，那么就取字段id本身（如果字段id长度为5，去掉前两位，如果为3位，取本身）否则取字段num
                 }).mapToPair(new PairFunction<String[], String, String>() {
                        @Override
                        public Tuple2<String, String> call(String[] arr) throws Exception {
                            String number = "";
                            if ("111".equals(arr[2]) || "222".equals(arr[2])) {
                                if (arr[1].length() == 5) {
                                    number = arr[1].substring(2, 5);
                                } else if (arr[1].length() == 3) {
                                    number = arr[1];
                                }

                            } else if (!"111".equals(arr[2]) && !"222".equals(arr[2])) {

                                number = arr[2];

                            }
                            return new Tuple2<>( arr[0],number);
                        }
                        //去重
                    }).distinct();
            return name_bianhao;
        }