![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
翰文不是瀚
这个作者很懒,什么都没留下…
展开
-
Spark基础之--启动local与standalone模式
我们得到编译好的spark压缩包之后,进行解压;随后进入spark文件夹,获取到spark的路径:/home/xxx/app/spark-2.1.0-bin-2.6.0-cdh5.7.0为了后续使用方便,我建议将spark的路径添加到本地配置(~/.bash_profile)export SPARK_HOME=/home/xxx/app/spark-2.1.0-bin-2.6.0-...原创 2018-11-06 22:20:51 · 1347 阅读 · 0 评论 -
SparkContext任务本地开发与服务器运行
正确启动spark的本地模式与standalone模式之后,我们进入spark项目的开发。1.本地开发:在IDEA中新建一个maven工程:1)maven基础坐标如下: <groupId>com.imooc.spark</groupId> <artifactId>sql</artifactId> <version&g...原创 2018-11-20 22:37:16 · 484 阅读 · 0 评论 -
SparkSession的使用
简单的来说,SparkSession是Spark2.0版本中SparkContext更好用的接口package com.imooc.sparkimport org.apache.spark.sql.SparkSession/** * @author lihanwen * SparkSession是spark2.0之后才有的,可以用来替代SparkContext */objec...原创 2018-11-22 23:16:17 · 862 阅读 · 0 评论 -
spark-shell与spark-sql的访问hive
1.spark-shell的使用:安装完spark之后,将spark/bin的路径配置到本地文件,即可不需要进入spark/bin目录下启动任务1)直接打开,运行以下命令会发现无法访问hive表的数据:spark-shell --master local[2]spark.sql("show tables").show()2)将hive/conf目录下的hive-site....原创 2018-11-22 23:44:10 · 2474 阅读 · 0 评论