使用maven + eclipse 建置spark基礎環境

本篇有在windows,osx環境下測試過

本博客僅為作者筆記，還有很多細節沒提到

請各位見諒，歡迎批評指正

如需轉載，請附上本文網址

what is maven?

Maven is a build automation tool used primarily for Java projects. - wiki
maven是一套主要用於java專案的自動化構建工具.

我建議可以先看這篇使用maven,對maven先有基礎的認識,再去看官方文件.

進入主題

下載maven

1. 假設你有eclipse
2. 先到這個頁面maven integration for eclipse
3. 旁邊有一個install圖示,把他拖曳eclipse的工作區(最左邊那區)即可

開啟maven專案

1. 開啟專案的時候找到maven project
2. 勾選create simple project(只是簡化教學,如果想要其他的可以不要勾選)
3. 設置maven三個必要的參數:
   
   • groupId - id of projects groups ex:com.company.bank
   • artifactId - id of project.This is generally name of the project.
   • version - version of project.
4. 設置pom.xml (我假設你有看過前面使用maven這篇教學,pom.xml的功能我不講),把它貼近自己的pom.xml(留著最上面那個區塊,那是一開始你設定的那三個參數),別把自己的groupId,artifactId,version那給覆蓋啊,那是你一開始設定的.

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <groupId>Your.groups.id</groupId>
    <artifactId>YouProjectName</artifactId>
    <version>YourVesion</version>
    <name>homework2</name>

    <dependencies>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>3.8.1</version>
            <scope>test</scope>
        </dependency>

        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.10</artifactId>
            <version>1.5.1</version>
        </dependency>

        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-mllib_2.10</artifactId>
            <version>1.5.1</version>
        </dependency>
    </dependencies>

  <build>
      <plugins>
          <plugin>
              <groupId>org.apache.maven.plugins</groupId>
              <artifactId>maven-compiler-plugin</artifactId>
              <version>3.3</version>
              <configuration>
                  <source>1.8</source>
                  <target>1.8</target>
              </configuration>
          </plugin>
      </plugins>
    </build>
</project>

1. 做maven build(對pom.xml右鍵 -> run as -> maven build), maven會下載一些該下載的套件.

2. 來測試spark程式囉

import org.apache.spark.SparkContext;
import org.apache.spark.SparkConf;
public class Main {
    public static void main(String args[]){

        String appName = new String("appName");
        String master = new String("local[4]");
        SparkConf conf = new SparkConf().setAppName(appName).setMaster(master);
    }
}

1. 編譯有過應該就沒問題了

reference

• 使用maven
• tutorialspoint-maven tutorial
• Maven 的基本概念與在 eclipse 專案實作
• Maven 教學-HelloMaven 第一個Maven專案 (Step by Step ~)