基于ubuntu的hadoop分布式安装(课程实验)
- 在VirtualBox中安装ubuntu,命名这台机器为Master创建用户名为hadoop(自己定)并增加hadoop用户管理员权限:
sudo adduser hadoop sudo
- 更改软件源:在Ubuntu的菜单中找到软件与更新,选择中国服务器,此处aliyun,163都可。然后对APT进行更新:
sudo apt-get update
(ubuntu的vim和ifconfig运行都需要下载) - 安装SSH远程连接:
1)下载SSH客户端sudo apt-get install open-server
2)尝试登入本机ssh localhost
3)进行本机的免密登入
cd ~/.ssh/
#没有此目录就执一遍ssh localhost
ssh-keygen -t rsa
#执行后按enter键即可
将密钥加入本机授权:
cat ./id_rsa.pub>>./authorized_keys
1)安装Java环境
sudo apt-get install default-jre defalut-jdk #下载jdk
2)添加环境变量
vim ~/.bashrc
export JAVA_HOME=/usr/lib/jvm/defalut-java #在配置文件中加入
source ~/.bashrc #重新加载此配置文件
3)检查是否安装成功
echo $JAVA_HOME
java -version
$JAVA_HOME/bin/java -version #与上一条命令一样
至此,将这台虚拟机克隆,,命名为Slave1
5.使用hadoop包来安装hadoop
1)可以在官网下载官网下载hadoop3.3.0版本 在ubuntu中可用wget+此链接下载
2)下载之后
tar -xzvf ~/Downloads/hadoop-3.3.0.tar.gz -C /usr/local #下载之后解压至本地目录/usr/local目录
cd /usr/local
sudo mv ./hadoop-3.3.0/ ./hadoop #更改文件名
sudo chown -R hadoop ./hadoop #修改文件权限
3)查看hadoop版本
cd /usr/local/hadoop
./bin/hadoop version
6.配置hadoop文件
文件目录都在 /usr/local/hadoop/etc/hadoop
1)slaves文件
slaves文件下对应的主机名的都是datanode
ps:不知道为啥我配置完slaves文件之后,datanode依旧是两台,而不是按照slaves中的只有一台
我们把规划的两台主机都当成datanode,预计规划的主机名是:Master Slave1
所以datanode中对应的应该填入
Master
Slave1
2)修改core-site.xml文件
fs.defaultFS是HDFS的访问地址
hadoop.tmp.dir临时文件保存地址
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://Master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
</configuration>
3)修改hdfs-site.xml
dfs.replication datanode的数量,我这里是二
dfs.namenode.name.dir namenode储存地址
dfs.datanode.data.dir detanode储存地址
<configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>Master:50090</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>
</configuration>
4)修改maperd-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>Master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>Master:19888</value>
</property>
</configuration>
5)修改yarn-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>Master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>Master:19888</value>
</property>
</configuration>
7.网络配置
1)将Master 和 Slave1的网络设置为桥接模式。并把Slave1的MAC地址刷新(因为此台机器是克隆的MAC地址一样)
2)修改主机名
编辑hostname
sudo vim /etc/hostname
Master的机器修改为
Master
Slave1的机器修改为
Slave1
3)修改网络IP映射
在两台机器上编辑hosts
sudo vim /etc/hosts
输入以下内容:
自己的IP Master
自己的IP Slave1
**4)**重启机器检查是否设置有效
ping Master
ping Slave1
8.实现Master免密码登入节点
在Master主机上执行
cd ~/.ssh #没有就执行ssh localhost
rm ./id_rsa * #删除公钥,因为主机名改了
ssh-keygen -t rsa
cat ./id_rsa.pub>>./authorized_keys #加入主机密钥
改之后可以用ssh Master做试试
将密钥远程传到Slave1
scp ~/.ssh/id_rsa.pub hadoop@ Slave1:/home/hadoop/
接下来在Slave1上操作:
mkdir ~/.ssh #如果不存在,就创建
cat ~/id_rsa.pub>> ~/.ssh/authorized_keys
rm ~/id_rsa.pub #用完可以删掉
接下来可以自己试试两台机器的无密码登入
ssh Master
ssh Slave1
9.在两台机器编辑系统配置文件,为了以后Hadoop能快速启动和操作
sudo vim /.bashrc
export PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin
source /.bashrc
10.压缩本机的hadoop文件夹(为了传给我们的其它Salve节点)
cd /usr/local
tar -zcf ~/hadoop.master.tar.gz ./hadoop
cd ~
scp ./hadoop.master.tar.gz Slave1:/home/hadoop #将文件夹传输到Slave1
Slave1节点下
tar -zxf ~/hadoop.master.tar.gz -C /usr/local #解压
sudo chown -R hadoop /usr/local/hadoop #更改权限
11.格式化namenode,并启动Hadoop服务
在Master主机格式化节点
hdfs namenode -format
Master启动服务
start-dfs.sh
start-yarn.sh
mr-jobhistory-daemon.sh start historyserver
Slave1启动服务
start-dfs.sh
start-yarn.sh
简单执行命令
hadoop fs -ls /