sparksql 操作hive_Spark SQL - Hive表

Hive与Spark库捆绑为HiveContext，它继承自SQLContext。 使用HiveContext，您可以在HiveMetaStore中创建和查找表，并使用HiveQL在其上写入查询。 没有现有Hive部署的用户仍然可以创建HiveContext。 当未由hive-site.xml配置时，上下文会自动在当前目录中创建名为metastore_db的元数据库和名为warehouse的文件夹。

参考以下案例使用Hive表完成雇员记录。 所有记录的数据都在名为employee.txt的文本文件中。 这里，我们将首先初始化HiveContext对象。 使用它，我们将创建一个表，使用HiveQL语言将雇员记录数据加载到其中，并对其应用一些查询。

employee.txt - 将其放在spark-shell正在运行的当前目录中。

1201, satish, 25

1202, krishna, 28

1203, amith, 39

1204, javed, 23

1205, prudvi, 23启动Spark Shell

首先，我们必须启动Spark Shell。 使用HiveTables意味着我们正在处理Hive MetaStore。 因此，系统将自动创建用于存储表数据的仓库。 因此，最好在超级用户上运行Spark Shell。 请参考以下命令。

$ su

password:

#spark-shell

scala>

创建SQLContext对象

使用以下命令将HiveContext初始化到Spark Shell中。

scala> val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc)