mlnist的博客

1. 创建存放log文件的路径 cd /usr/local/hadoop/bin #hadoop/bin的路径，若设hadoop安装路径为环境变量，则不用运行上述命令 hdfs dfs -mkdir -p hdfs://master:9000/spark-events hdfs dfs -ls ./tmp #出现spark-event说明成功 2. 修改conf文件下的spark-def...

Win10环境准备： 1.1 jdk，scala，sbt安装 Jdk安装：1.8.0_191 Scala安装: 2.11.6 Sbt安装: 1.2.6 都是默认安装，建议跟自己spark集群中安装的版本一致，可以升级spark集群的版本。否则后续需要在intellij中修改兼容性。 这三个安装后找到此计算机->属性->高级系统设置，选择环境变量，然后添加这三者的环境变量，步骤...