【大数据】Spark-sql
21989939
这个作者很懒,什么都没留下…
展开
-
Spark-sql 结合hive使用
1.安装hive(配置好) 2.将配置好的hive-site.xml放入$SPARK-HOME/conf目录下 3.将mysql-xxx-connector-xx.jar放到spark集群中节点的lib目录下 4.启动spark-shell时指定mysql连接驱动位置 bin/spark-shell \ --master spark://node1.itcast.cn:7077 \ ...原创 2018-03-09 22:05:28 · 655 阅读 · 0 评论 -
Spark-sql 入门
2、Spark SQL2.1、Spark SQL概述2.1.1、什么是Spark SQL Spark SQL是Spark用来处理结构化数据的一个模块,它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。2.1.2、为什么要学习Spark SQL我们已经学习了Hive,它是将Hive SQL转换成MapReduce然后提交到集群上执行,大大简化了编写MapReduce的程序...原创 2018-03-08 15:27:44 · 492 阅读 · 0 评论