2016年08月__水木_

原创通过JDBC访问ThriftServer

通过JDBC访问Thrift Server，进而访问Spark SQL，进而访问Hive String sql = "select name from test where age = ?"; String sql = "select name from test where age = ?"; Connection conn = null; ResultSet resultSe

2016-08-30 08:42:22 1344

原创 Scala类型系统编程

1、Scala的类和方法、函数都可以是泛型，在Spark源码中可以到处看到类和方法的泛型，在实际实例化的时候指定具体的类型，例如Spark最核心、最基础、最重要的抽象数据结构RDD里面关于RDD的类的定义是泛型的，RDD的几乎所有方法的定义也都是泛型的，之所以这么做，是因为RDD会派生很多子类，通过子类适配了各种不同的数据源以及业务逻辑操作； 2、关于对类型边界的限定，分为上边界和下边界：上

2016-08-22 18:22:24 377

原创 Scala中的Map和Tuple

1、默认情况下Map构造的是不可变的集合，里面的内容不可修改，一旦修改就变成新的Map，原有的Map内容保持不变； 2、Map的实例是调用工厂方法模式apply来构造Map实例，而需要主要的是Map是接口，在apply中使用了具体的实现； 3、如果想直接new出Map实例，则需要使用HashMap等具体的Map子类； 4、查询一个Map中的的值一定是采用getOrElse的语法的，一方面是在

2016-08-22 18:17:14 3420

原创 Scala函数式编程

1、函数和变量一样作为Scala语言的一等公民，函数可以直接赋值给变量； 2、函数更长用的方式是匿名函数，定义的时候只需要说明输入参数的类型和函数体即可，不需要名称，但是如果你要使用的话，一般会把这个匿名函数赋值给一个变量（其实是val常量），Spark源码中大量存在这种语法，必须掌握； 3, 函数可以作为参数直接传递给函数，这极大的简化的编程的语法，为什么这样说呢？原因非常简

2016-08-22 18:11:42 1776

原创 Scala数据集合操作

大数据技术是数据的集合以及对数据集合的操作技术的统称，具体来说： 1，数据集合：会涉及数据的搜集、存储等，搜集会有很多技术，存储现在比较经典的是使用Hadoop，也有很多情况使用Kafka； 2，对数据集合的操作技术：目前全球最火爆的是Spark； Spark的框架实现语言是Scala，首选的应用程序开发语言也是Scala，所以Scala对集合以及集合操作的支持就至关重要且必须异常强

2016-08-22 17:49:36 3450

原创 SparkSQL中UDF和UDAF

UDF: User Defined Function，用户自定义的函数，函数的输入是一条具体的数据记录，实现上讲就是普通的Scala函数； UDAF：User Defined Aggregation Function，用户自定义的聚合函数，函数本身作用于数据集合，能够在聚合操作的基础上进行自定义操作；实质上讲，例如说UDF会被Spark SQL中的Catalyst封装成为Expression

2016-08-17 09:33:23 7134

使用Spark SQL中的内置函数对数据进行分析，Spark SQL API不同的是，DataFrame中的内置函数操作的结果是返回一个Column对象，而DataFrame天生就是"A distributed collection of data organized into named columns.",这就为数据的复杂分析建立了坚实的基础并提供了极大的方便性，例如说，我们在操作DataFr

2016-08-15 07:24:23 13347 1

麒麟