解压hadoop-2.5.2版本
hadoop-2.5.2下载链接: https://pan.baidu.com/s/1le6fYpqnvhtaN2qlkz1myg 提取码: m3vn
将winutils放入到bin目录下,如图所示:winutils下载:链接: https://pan.baidu.com/s/1Vz0KLzrc38nYO_axLOgAbw 提取码: 1yz9
将hadoop.dll放入到C:\Windows\System32 下载链接: https://pan.baidu.com/s/1vumDH7c_DwMCIV883N6r3g 提取码: bykw
在配置环境变量。此电脑右键–属性–高级系统设置
点击 环境变量 点击上面的 用户变量 进行编辑
变量名为 HADOOP_HOME,变量值为你刚刚解压的hadoop-2.5.2的文件夹路径
保存!
eclipse阶段
打开eclipse —File—import—
导入learning-spark-master源码,下载链接: https://pan.baidu.com/s/1S8mXdMJa_zNhUB0SRVbmGQ 提取码: k7d5
然后打开eclipse — window–perferences—maven—user settings .
要是没有settings.xml文件,则打开c盘创建一个settings.xml,并在里面写入如下内容:
<?xml version="1.0" encoding="UTF-8"?>
<settings xmlns="http://maven.apache.org/SETTINGS/1.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/SETTINGS/1.0.0 http://maven.apache.org/xsd/settings-1.0.0.xsd">
<mirrors>
<!-- 阿里云仓库 -->
<mirror>
<id>alimaven</id>
<mirrorOf>central</mirrorOf>
<name>aliyun maven</name>
<url>https://maven.aliyun.com/repository/central</url>
</mirror>
<!-- 中央仓库1 -->
<mirror>
<id>repo1</id>
<mirrorOf>central</mirrorOf>
<name>Human Readable Name for this Mirror.</name>
<url>http://repo1.maven.org/maven2/</url>
</mirror>
<!-- 中央仓库2 -->
<mirror>
<id>repo2</id>
<mirrorOf>central</mirrorOf>
<name>Human Readable Name for this Mirror.</name>
<url>http://repo2.maven.org/maven2/</url>
</mirror>
</mirrors>
</settings>
clean compile scala:compile package -DskipTests
若这里不会添加jdk。详情见本文章最下面
run一下。如果控制台有build-success则表示配置成功。
下载scala插件
默认配置然后耐心等待。安装好以后在运行项目,找到Wordcount运行
注:详情配置eclipse里的jdk
点击黑处