需要的安装包:
1.jdk压缩包
2.hadoop压缩包
请前往百度云上上下载相关安装包(密码:8op1)
开始搭建hadoop集群
一.使用VMvare创建两个虚拟机,我使用的是ubuntu16.04版本的,并关闭全部虚拟机的防火墙
1.因为默认的虚拟机主机名都是ubuntu,所以为了便于虚拟机的识别,创建完成虚拟机后我们对虚拟机名进行修改,我们把用于主节点的虚拟机名称设为master(按自己的喜好创建),把用于从节点的虚拟机名称设为slave1
- 修改主机名的命令:sudo gedit /etc/hostname
- 把原主机名ubuntu改为master(在从主机上则改为slave1)
2.为了虚拟机之间能ping通,需要修改虚拟机的ip地址(这里以在master机器操作为例子,从节点的虚拟机也要进行一致的操作)
命令:sudo gedit /etc/hosts
把/etc/hosts中yangcx-virtual-machine修改为刚刚改过的主机名master,同时将前面的ip地址改为实际的ip地址
怎么知道自己虚拟机的ip地址?
命令:ifconfig -a
上图红框标记的就是虚拟机的真实ip地址,因此我们把/etc/hosts中的内容修改为:
slave1的ip地址就是从虚拟机slave1的真实ip地址。同样,我们在slave1虚拟机上也要进行这一步操作。
3.关闭虚拟机的防火墙
一般来说,ubuntu默认都是安装防火墙软件ufw的,使用命令 sudo ufw version,如果出现ufw的版本信息,则说明已有ufw
使用命令 sudo ufw status查看防火墙开启状态:如果是active则说明开启,如果是inactive则说明关闭
开启/关闭防火墙 (默认设置是’disable’)
sudo ufw enable|disable
我们使用sudo ufw disble来关闭防火墙,并再次用sudo ufw status 查看防火墙是否关闭
二.安装jdk(所有虚拟机都要安装配置)
将jdk的压缩文件拖进master和slave1虚拟机中,压缩(右键文件,extract here),或者用命令行
tar -zxvf jdk1.8.0_161.tar.gz(使用自己的压缩文件名)
配置环境jdk环境:
命令:sudo gedit /etc/profile
将jdk的路径添加到文件后面(根据自己的文件路径来,我这里jdk1.8.0_161文件夹的路径是/home/hadoop/java)
export JAVA_HOME=/home/hadoop/java/jdk1.8.0_161
export JRE_HOME=/home/hadoop/java/jdk1.8.0_161/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$JAVA_HOME:$PATH
保存退出,为了使配置立即生效,键入命令:source /etc/profile,或者重启虚拟机,命令:shutdown -r now
检查路径jdk是否安装成功,键入命令:java -version
如果出现了版本信息,则恭喜配置成功;
三.安装SSH服务
1.首先确保虚拟机能连上网
2.更新源列表:sudo apt-get update
3.安装ssh:输入"sudo apt-get install openssh-server"-->回车-->输入"y"-->回车-->安装完成。
4.查看ssh服务是否启动
![](https://i-blog.csdnimg.cn/blog_migrate/f1fa6d2b9cf60afb4a85ec57609216d0.png)
四、建立ssh无密码登录本机
1、创建ssh-key,,这里我们采用rsa方式
- ssh-keygen -t rsa -P "" //(P是要大写的,后面跟"")
2、进入~/.ssh/目录下,将id_rsa.pub追加到authorized_keys授权文件中,开始是没有authorized_keys文件的
- cd ~/.ssh
- cat id_rsa.pub >> authorized_keys
3、登录localhost
- ssh localhost
4、执行退出命令
- exit
1~4步在master和slave1两台虚拟机上都是配置
5.配置master无密码登陆slave1
mater主机中输入命令复制一份公钥到home中
cp .ssh/id_rsa.pub ~/id_rsa_master.pub
- 1
把master的home目录下的id_rsa_master.pub拷到slave1的home下(我的做法是先拖到windows桌面上,在拖进slave1虚拟机中)
slave1的home目录下分别输入命令
cat id_rsa_master.pub >> .ssh/authorized_keys
- 1
至此实现了mater对slave1的无密码登陆
以下的步骤只在master上进行(除了hadoop的环境变量
配置在slave1上也要进行)
五.安装hadoop
1.将hadoop压缩包拖进master虚拟机中,解压(我这里解压的路径是/home/hadoop/hadoop-2.7.3)
2.在hadoop-2.7.3文件夹里面先创建4个文件夹:
- hadoop-2.7.3/hdfs
- hadoop-2.7.3/hdfs/tmp
- hadoop-2.7.3/hdfs/name
- hadoop-2.7.3/hdfs/data
3.配置 hadoop的配置文件
先进入配置文件的路径:cd /home/hadoop/hadoop-2.7.3/etc/hadoop(再次强调,使用自己的路径)
输入:ls
查看该路径下的文件列表
被红框框住的文件是我们要进程配置的文件
1.首先配置core-site.xml文件
sudo gedit core-site.xml
在<configuration></configuration>中加入以下代码:
<property>
<name>hadoop.tmp.dir</name>
<value>file:/home/hadoop/hadoop-2.7.3/hdfs/tmp</value>
<description>A base for other temporary directories.</description>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
注意:第一个属性中的value和我们之前创建的/hadoop-2.7.3/hdfs/tmp路径要一致。
2.配置 hadoop-env.sh文件
sudo gedit hadoop-env.sh
将JAVA_HOME文件配置为本机JAVA_HOME路径
3.配置 yarn-env.sh
sudo gedit yarn-env.sh
将其中的JAVA_HOME修改为本机JAVA_HOME路径(先把这一行的#去掉)
4.配置hdfs-site.xml
sudo gedit hdfs-site.xml
在<configuration></configuration>中加入以下代码
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/hadoop/hadoop-2.7.3/hdfs/name</value>
<final>true</final>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/hadoop/hadoop-2.7.3/hdfs/data</value>
<final>true</final>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:9001</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
注意(其中第二个dfs.namenode.name.dir和dfs.datanode.data.dir的value和之前创建的/hdfs/name和/hdfs/data路径一致;因为这里只有一个从主机slave1,所以dfs.replication设置为1)
5 .复制mapred-site.xml.template文件,并命名为mapred-site.xml
cp mapred-site.xml.template mapred-site.xml
配置 mapred-site.xml,在标签<configuration>中添加以下代码
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
6.配置yarn-site.xml
sudo gedit yarn-site.xml
在<configuration>标签中添加以下代码
<property>
<name>yarn.resourcemanager.address</name>
<value>master:18040</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:18030</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:18088</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:18025</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:18141</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
7.配置slaves 文件
sudo gedit slaves
把原本的localhost删掉,改为slave1
8.配置hadoop的环境,就像配置jdk一样
sudo gedit /etc/profile
根据hadoop文件夹的路径配置,以我的路径/home/hadoop/hadoop-2.7.3 为例
export HADOOP_HOME=/home/hadoop/hadoop-2.7.3
export PATH="$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH"
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
键入命令 source /etc/profile 使配置立即生效
9.接下来,将hadoop传到slave1虚拟机上面去
scp -r hadoop-2.7.1 hadoop@slave1:~/
注意:hadoop是虚拟机的用户名,创建slave1时设定的
传过去后,在slave1上面同样对hadoop进行路径配置,和第8步一样
9.初始化hadoop
hdfs name -format
10.开启hadoop
两种方法:
- start-all.sh
- 先start-dfs.sh,再start-yarn.sh
如果在mater上面键入jps后看到
在slave1上键入jps后看到
则说明集群搭建成功
六:最后用自带的样例测试hadoop集群能不能正常跑任务
使用命令
hadoop jar /home/hadoop/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar pi 10 10
用来求圆周率,pi是类名,第一个10表示Map次数,第二个10表示随机生成点的次数(与计算原理有关)
最后出现结果