从入门到入土 大数据学习(4) 最简单windows下idea运行调试spark程序

从入门到入土 大数据学习(4)windows下idea运行spark程序

继环境搭建和windows环境搭建之后，不可避免的需要在windows上进行开发，但是这种跨平台的开发本身就给开发者带来一定的难度。如果条件允许（指电脑内存足够大，且今后开发服务器上也会有LINUX图形化界面的情况），个人还是建议使用图形化界面，在windows上开发，笔者真的捣鼓了很久。

网上常见的windows上连接spark开发是使用idea本身自带远程，打开5005端口进行调试，还是比较复杂的，有兴趣的可以百度。

这里介绍一种自己捣鼓的方法，前提要求：

1. 主机和虚拟机已经能互相访问（笔者使用了NAT，将主机映射到一个ip）
2. spark环境已经完成搭建，且能正常运行

导入类库

因为windows上没有相关类库，所以要导入相关类库，笔者将之前下载在linux上还未解压的hadoop、spark压缩包都复制到了主机上，并且解压。

1. 打开idea,File-Project Structure
   
2. 选择libraries,并选择加号，JAVA
   
3. 选择相关类库
   其中hadoop的库，在hadoop解压目录下share-hadoop下的所有文件夹和share-hadoop-common-lib
   
   spark的类库在spark目录下jars目录下
   只要选择以上的目录添加即可。

设置输出级别

在此后的实验里面会看到一大堆INFO,从而找不到输出，这不是我们希望的，所以将spark/conf目录下log4j.properties.template复制到src-main-scala-temp-resources目录下，并更名为log4j.properties，打开修改第19行

log4j.rootCategory=INFO, console

为

log4j.rootCategory=WARN, console

本地运行

很令人惊奇，spark居然能在windows上运行，不过想想也正常，spark开发语言是scala,里面调用了大量的java库 运行在jvm上，想来也有很好的跨平台性。

到这一步已经能够在windows上进行单机调试了，不涉及虚拟机里面的集群，笔者在src-main-scala-temp下建立了hello.sca