前提:
安装 eclipse4.3 EclipseJava EE IDE for Web Developers.Version: Juno Release
安装 jdk1.7
相关组件准备:
第一步:下载spark-1.3.0-bin-hadoop2.6.tgz到本地,并解压在本地目录
地址为:http://spark.apache.org/downloads.html
这里选择了已经为Hadoop2.4编译好的版本,为了能和Hadoop2.4更好的结合。当然有能力你可自己编译。
第二步:下载windows下hadoop工具包(分为32位和64位的),在本地新建一个hadoop目录,必须有 bin目录例如:D:\spark\hadoop-2.6.0\bin
然后将winutil等文件放在bin目录下
地址:https://github.com/sdravida/hadoop2.6_Win_x64/tree/master/bin
第三步:配置hadoop和spark的环境变量:
环境配置分两种模式:
方式一:
1、新建环境变量:
HADOOP_HOME 例如:D:\spark\hadoop-2.6.0
SPARK_HOME 例如:E:\spark\spark-2.1.0-bin-hadoop2.7
演示:
1.1.解压缩文件
1.2.系统环境变量配置
1)新建SPARK_HOME。
2)修改Path
3)检测环境变量
2、将新建的变量加入path中
例如:%HADOOP_HOME%\bin;%SPARK_HOME%\bin;
方式二:(不推荐)
直接将hadoop和spark的bin目录的绝对路径放入path中
测试是否安装成功:
spark:在dos命令中输入spark-shell,出现SPARK字形图案,最终出现scala命令行
hadoop:在dos命令中输入hadoop
重点:
eclipse中集成spark开发环境:
步骤一:安装scala插件
安装eclipse-scala-plugin插件,下载地址http://scala-ide.org/download/prev-stable.html
解压缩以后把plugins和features复制到eclipse目录,重启eclipse以后即可。
Window -> Open Perspective -> Other…,打开Scala,说明安装成功。
步骤二:安装hadoop插件
1、将hadoop-eclipse-plugin-2.6.0包放入eclipse的plugins目录里,重启eclipse
2、window-->preferences-->搜索hadoop,选中,然后找到hadoop的文件路径
Java Spark WordCountDmeo案例:
在整个操作中,环境搭建重点在于软件和组件的匹配。然后在项目编写中侧重的是jar包依赖。Maven使用中网络环境对整个jar包下载产生严重影响,让笔者爆出很多意外的错误:
1、Caused by: java.lang.ClassNotFoundException:org.spark-project.guava.util.concurrent.ThreadFactoryBu
此错误产生的原因是windows本地的spark并没有配置。guava.util.concurrent.ThreadFactoryBu类属于google.guavajar包;
2、org/apache/commons/configuration/configuration、
java.lang.ClassNotFoundException:org.apache.hadoop.util.PlatformName等类找不到都有可能是因为maven网络问题导致的jar没有扩展加入进来。
3、整个项目操作总可以适当使用run asàmaven clean、mavenàupdate dependenyce,projectàclean等,个别情况可以考虑重启eclipse解决问题。
1、新建maven工程
2、修改POM.xml文件
<projectxmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0</modelVersion>
<groupId>com.dt.spark</groupId> <artifactId>SparkApps</artifactId> <version>0.0.1-SNAPSHOT</version> <packaging>jar</packaging>
<name>SparkApps</name> <url>http://maven.apache.org</url>
<properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> </properties>
<dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>3.8.1</version> <scope>test</scope> </dependency> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.10</artifactId> <version>1.3.0</version> </dependency> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-sql_2.10</artifactId> <version>1.3.0</version> </dependency> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-hive_2.10</artifactId> <version>1.3.0</version> </dependency> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming_2.10</artifactId> <version>1.3.0</version> </dependency> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.6.4</version> </dependency> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming-kafka_2.10</artifactId> <version>1.3.0</version> </dependency> </dependencies> <build> <sourceDirectory>src/main/java</sourceDirectory> <testSourceDirectory>src/main/test</testSourceDirectory>
<plugins> <plugin> <artifactId>maven-assembly-plugin</artifactId> <configuration> <descriptorRefs> <descriptorRef>jar-with-dependencies</descriptorRef> </descriptorRefs> <archive> <manifest> <mainClass></mainClass> </manifest> </archive> </configuration> <executions> <execution> <id>make-assembly</id> <phase>package</phase> <goals> <goal>single</goal> </goals> </execution> </executions> </plugin>
<plugin> <groupId>org.codehaus.mojo</groupId> <artifactId>exec-maven-plugin</artifactId> <version>1.2.1</version> <executions> <execution> <goals> <goal>exec</goal> </goals> </execution> </executions> <configuration> <executable>java</executable> <includeProjectDependencies>true</includeProjectDependencies> <includePluginDependencies>false</includePluginDependencies> <classpathScope>compile</classpathScope> <mainClass>com.dt.spark.App</mainClass> </configuration> </plugin>
<plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-compiler-plugin</artifactId> <configuration> <source>1.6</source> <target>1.6</target> </configuration> </plugin>
</plugins> </build> </project> |
详细代码WordCount见下一文章,谢谢。