学习大数据的最开始,从项目搭建开始。
maven、scala以及spark的安装这里不做说明,介绍一个偷懒的项目搭建方法。
1、首先创建一个scala项目,File->New->Project
2、选择Scala项目(图中的sbt和maven一样,是一种构建项目的另一种方法)
3、选择安装的jdk和Scala版本,起好项目名称,保存到期望的目录下
4、copy一份maven文件过来(pom.xml文件)
5、刷新
6、创建有一个Scala类,可以看到,spark的包可以正常引import了
下面开始项目构建:
1、添加artifact,点开项目结构,如图
2、选择自己的项目,和需要运行的主类
3、点击ok
4、这里选择下面的这个,这样打出来的包会比较小
5、然后再ok就好了
6、然后进行artifact的build操作
7、点击之后会弹出来这个,选择build就好
项目打包完成之后,接下来启动spark,然后提交任务
我的是windows10环境,直接win+r然后cmd,打开命令窗口,在命令窗口输入命令spark-shell,不行的话用管理员身份试一下。
打开浏览器输入地址:http://127.0.0.1:4040/jobs/ 可以看到如下界面,说明启动成功。