weixin_46576686的博客

原创 spark on hive和hive on spark的区别

spark on hive : 是spark 通过spark-sql 使用hive 语句操作hive ,底层运行的还是 spark rdd. *（1）就是通过sparksql，加载hive的配置文件，获取到hive的元数据信息 * （2）spark sql获取到hive的元数据信息之后就可以拿到hive的所有表的数据 * （3）接下来就可以通过spark sql来操作hive表中的数据 hive on spark: 是hive 等的执行引擎变成spark , 不再是mapreduce. 相对于上一项,这个要