spark连接mysql创建hive表_Spark SQL操作Hive数据库

http://kevin12.iteye.com/blog/2273532

Spark集群搭建：http://kevin12.iteye.com/blog/2273532

数据准备

在/usr/local/sparkApps/SparkSQL2Hive/resources/目录下创建people.txt内容如下，name和age之间是"\t"分割

Michael    20

Andy    17

Justin    19

创建份数peopleScores.txt,内容如下，name和score之间用“\t”分割

Michael    98

Andy    95

Justin    68

代码实现

package com.imf.spark.sql

import org.apache.spark.SparkConf

import org.apache.spark.SparkContext

import org.apache.spark.sql.hive.HiveContext

/**

* 通过spark sql操作hive数据源

*/

object SparkSQL2Hive {

def main(args: Array[String]): Unit = {

val conf = new SparkConf();

conf.setAppName("SparkSQL2Hive for scala")

conf.setMaster("spark://master1:7077")

val sc = new SparkContext(conf)

val hiveContext = new HiveContext(sc)

//用户年龄

hiveContext.sql("use testdb")

hiveContext.sql("DROP TABLE IF EXISTS people")

hiveContext.sql("CREATE TABLE IF NOT EXISTS people(name STRING, age INT)ROW FORMAT DELIMITED FIELDS TERMINATED BY '\\t' LINES TERMINATED BY '\\n'")

//把本地数据加载到hive中(实际上发生了数据拷贝)，也可以直接使用HDFS中的数据

hiveContext.sql("LOA