1.电脑配置
i5四代处理器,256G固态硬盘的笔记本电脑上安装vmware,然后新建三个虚拟机,每个虚拟机分配888M内存。
2.搭建过程
first:三台虚拟机ssh能互相登陆,hostname分别为server1,server2,server3,对应的ip地址分别为:192.168.138.50,192.168.138.51,192.168.138.52,网络模式为NAT。
second:集群规划如下:
server1 | server2 | server3 | |
---|---|---|---|
HDFS | NameNode, DateNode | DateNode | SecondaryNameNode,DateNode |
YARN | NodeManager | ResourceManager,NodeManager | NodeManager |
third:官网下载hadoop2.9.2二进制包,修改$HADOOP_HOME/etc/hadoop/目录下的一些配置文件:
core-site.xml:
<!-- 指定 HDFS 中 NameNode 的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://server1:9000</value>
</property>
<!-- 指定 hadoop 运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hassan/hadoop/tmp</value>
</property>
export JAVA_HOME=jdk的根目录
hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>server3:50090</value>
</property>
slaves
server1
server2
server3
export JAVA_HOME=jdk的根目录
yarn-site.xml
<!-- reducer 获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定 YARN 的 ResourceManager 的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>server2</value>
</property>
export JAVA_HOME=jdk的根目录
mapred-site.xml
<!-- 指定 mr 运行在 yarn 上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
然后使用rsync -r hadoop安装文件 server1:/相应的目录
同步文件到集群中的每一个节点。
3.启动集群
first:在server1上格式化NameNode:bin/hdfs namenode -format
second:启动HDFS:sbin/start-dfs.sh
,这个时候就像集群规划的那样,可以在相应的节点上看到相应的NameNode, DateNode,SecondaryNameNode进程
third:启动yarn:sbin/start-yarn.sh
,这个时候就像集群规划那样,可以在相应的节点上看到相应的ResourceManager,NodeManager进程。
4.测试集群
本来应该使用命令行测试一下HDFS,然后看相应的web界面是否可以访问,但这里偷了个懒,直接访问192.168.1.50:50070,发现HDFS的web界面可以访问,然后使用java API测试了一下HDFS,在其上创建了一个目录并且上传一个文件,代码如下:
pom.xml
<dependencies>
<!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-common -->
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>2.9.2</version>
</dependency>
<!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-client -->
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>2.9.2</version>
</dependency>
<!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-hdfs -->
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-hdfs</artifactId>
<version>2.9.2</version>
</dependency>
</dependencies>
Test.java
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;
public class Test {
static FileSystem fileSystem;
static {
Configuration configuration = new Configuration();
try {
fileSystem = FileSystem.get(new URI("hdfs://192.168.138.50:9000"), configuration, "hassan");
} catch (Exception e) {
e.printStackTrace();
}
}
public static void main(String[] args) {
try {
//mkdir();
Test test = new Test();
test.upload();
} catch (IOException e) {
e.printStackTrace();
} finally {
if (null != fileSystem){
try {
fileSystem.close();
} catch (IOException e) {
e.printStackTrace();
}
}
}
}
/**
* 创建一个目录
*/
public void mkdir() throws IOException {
fileSystem.mkdirs(new Path("/aaa"));
}
public void upload() throws IOException {
fileSystem.copyFromLocalFile(new Path("C:\\Users\\Hassan\\Desktop\\Hassan\\project\\hadoop\\hdfs\\document1.txt"),
new Path("/aaa/document1.txt"));
}
}
命令行验证java API创建的目录和上传到文件:
bin/hdfs dfs -ls /
bin/hdfs dfs -ls /aaa
bin/hdfs dfs -cat /aaa/document1.txt
发现目录上传正确,文件也上传成功。
5.总结
- 刚开始为了能在自己公司电脑上操作笔记本虚拟机上的集群,网络模式选择了桥接,但后来ssh一直不稳定,要么connect refused,要么broken pipe,猜测是由争抢ip导致,于是将网络模式改为NAT,问题解决。
- 启动YARN的时候,发现server1的NodeManager没有启动起来,其它均正常,启动日志无异常(除了本应该在server2上创建一个server1结尾的日志文件,却创建成一个server2结尾的),然后在server2上ssh server1发现还是ssh到了本地,于是猜测是hosts文件配置错误,果不其然,该文件默认有一行:
localhost server1,由于每一个节点都是由server1克隆而来,所有每一个节点都有这样的问题,修改完hosts文件,清除临时文件目录和日志目录中的文件,并且重新格式化NameNode的文件系统,重启集群问题自然解决。