spark
画蛇添足
我是一个人!
展开
-
搭建spark的开发环境
1.pom文件添加依赖:<dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactId> <version>2.3.2</version></dependency&g原创 2018-10-19 13:37:50 · 275 阅读 · 0 评论 -
搭建Spark服务器环境
一、spark服务器环境:1.配置java环境;2.下载spark包和对应版本的hadoop包;3.进入spark安装目录,在conf目录下spark-env.sh文件的最后加入环境变量:LD_LIBRARY_PATH=$HADOOP_HOME/lib/native4.执行sbin/start-master.sh和sbin/start-slave.sh spark://hostn...原创 2018-10-21 18:29:38 · 1185 阅读 · 0 评论