Spark记录-org.apache.spark.sql.hive.HiveContext与org.apache.spark.sql.SQLContext包api分析

HiveContext/SQLContext

val hiveContext=new HiveContext(new SparkContext(new SparkConf().setAppName("HiveApp").setMaster("spark://master:7077")))  ---定义一个hiveContext变量

val sqlContext=new SQLContext(new SparkContext(new SparkConf().setAppName("HiveApp").setMaster("spark://master:7077")))  ---定义一个sqlContext变量

调用的方法如下：

def  dropTempTable(tableName: String): Unit  ---删除临时表，无返回值

def  emptyDataFrame: DataFrame  ---返回一个没有行列的数据框

def  sql(sqlText: String): DataFrame ---在spark引擎上执行一个sql查询，并返回一个数据框

def  udf: UDFRegistration ---用户自定义函数

sqlContext.udf.register("myUDF", (arg1: Int, arg2: String) => arg2 + arg1)  ---scala

sqlContext.udf().register("myUDF", (Integer arg1, String arg2) -> arg2 + arg1, DataTypes.StringType); ---Java

转载于:https://www.cnblogs.com/xinfang520/p/7833188.html