java怎么把程序写入持久化_如何将DataFrame持久化到Hive表？

我在Cloudera QuickStart VM上使用CentOS . 我按照另一个问题How to save DataFrame directly to Hive?创建了一个受sbt管理的Spark应用程序 .

build.sbt

libraryDependencies += "org.apache.spark" %% "spark-core" % "1.5.2"

libraryDependencies += "org.apache.spark" % "spark-sql_2.10" % "1.5.2"

libraryDependencies += "org.apache.spark" % "spark-mllib_2.10" % "1.5.2"

libraryDependencies += "org.apache.spark" % "spark-streaming_2.10" % "1.5.2"

libraryDependencies += "org.apache.spark" %% "spark-hive" % "1.5.2"

我想将DataFrame用作Hive表，如下所示：

recordDF.registerTempTable("mytempTable")

hiveContext.sql("create table productstore as select * from mytempTable");

我注意到我收到错误：

root scratch目录：/ tmp / hive应该是可写的 . 目前的权限是：rwx ------

我按照其他问题设置 chmod 777 为HDFS中的 /tmp/hive .

我突然想到使用本地文件系统/ tmp / hive的火花 .

我为本地文件系统做了一个chmod .

现在我收到了错误

org.apache.hadoop.hive.ql.metadata.HiveException：MetaException(消息：文件：/ user / hive / warehouse / productstore不是目录或无法创建目录)

我想在HDFS配置单元仓库中存储DataFrame .