在服务器中直接使用spark-sql 来读取hive表的数据,使用spark引擎进行hive表数据查询,既快又方便。
实现起来很简单,只需要把 安装hive的 hive-site.xml 配置文件,复制到spark安装的conf/ 目录下即可;如果你的hive的元数据库是在mysql,还需要把连接mysql的mysql-connector-java-5.1.46.jar复制到spark安装jars/ 目录下。
然后执行 spark-sql ,在交互界面你就能读取hive 的库和表。
在服务器中直接使用spark-sql 来读取hive表的数据,使用spark引擎进行hive表数据查询,既快又方便。
实现起来很简单,只需要把 安装hive的 hive-site.xml 配置文件,复制到spark安装的conf/ 目录下即可;如果你的hive的元数据库是在mysql,还需要把连接mysql的mysql-connector-java-5.1.46.jar复制到spark安装jars/ 目录下。
然后执行 spark-sql ,在交互界面你就能读取hive 的库和表。