今天搞了好几个小时做测试,在IDEA中去操作集群中的spark,可是集群一直链接不上,一下是解决问题的方案
需要满足的条件:
(1)需要访问hdfs的路径:即可以配置core-site.xml,hdfs-site.xml文件
(2)设置访问hdfs上的用户: System.setProperty(“HADOOP_USER_NAME”,“hdfs”)
(3)Spark程序中的Master设置在本地即:local
条件(1)的core-site.xml文件和hdfs-site.xml文件需要放在项目工程IDEA的resources目录下,如果没有resources目录,那么需要在IDEA的main目录上新建一个resources目录,如下图:
然后代码如下:
object Spark_create {
def main(args: Array[String]): Unit = {
//1 创建配置文件对象
val conf: SparkConf = new SparkConf().setAppName("rdd_create").setMaster("local[*]")
//创建sparkcontext上下文
val sc: SparkContext = new Spar