CentOS6.5安装教程:https://blog.csdn.net/qq_38741971/article/details/80393275
一、删除CentOS本机自带的JDK
1.查看当前本机安装的jdk版本
rpm -qa|grep jdk
2.切换到root用户下,获取一定的权限
su root
3.分别运行下方命令删除本机自带的jdk版本
rpm -e --nodeps java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64
rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64
4.再次运行rpm -qa|grep jdk 确认是否删除完毕
rpm -qa|grep jdk
5.运行whereis java查看java的安装目录
whereis java
6.分别使用rm -rf *,删除所有的安装文件夹,再次运行whereis java确认是否删除完毕
rm -rf /etc/java
rm -rf /usr/lib/java
rm -rf /usr/share/java
二、关闭防火墙
1.分别使用命令关闭防火墙
chkconfig iptables off
chkconfig ip6tables off
2.分别运行命令查看防火墙状态,确认防火墙关闭
chkconfig iptables --list
chkconfig ip6tables --list
3.使用ifconfig查看自己的ip信息,并且记住
4.回到window界面,键盘快捷键win+r,打开运行窗口,输入cmd,打开dos窗口
5.使用命令ping虚拟机ip:ping xxx.xxx.xxx.xxx
6.出现上述信息,代表主机可以与虚拟机通信
jdk-1.8u172下载:
链接:https://pan.baidu.com/s/1fNMjBhu6a-c5Js-6xgya8A 密码:6z7b
hadoop2.7.3下载:
链接:https://pan.baidu.com/s/1G_47KpTaUwhCqFKYFseGQA 密码:n11x
Filezilla下载:
链接:https://pan.baidu.com/s/1msZQ8f39u2i1ZSsCjV-6pQ 密码:mrcx
三、使用FileZilla传输我们需要的软件
14.切换回普通用户hadoop
su hadoop
15.回到普通用户的家目录下
cd
16.可以使用命名确认一下当前目录
pwd
17.在当前目录下创建soft目录
mkdir soft
![](https://i-blog.csdnimg.cn/blog_migrate/a86399c6f0c46b639b504c892e52346b.png)
18.打开Filezilla,输入虚拟机的ip地址,普通用户名,密码,端口号22,快速链接
19.选择我们需要传送的文件,和指定CentOS接收文件的地址/home/hadoop/soft,将hadoop2.7.3和jdk-8u172传到CentOS
20.关闭Filezilla,回到虚拟机下
21.查看文件是否传入,失败重复18~20步骤
cd soft
ls
四、解压配置JDK
1.将jJDK解压
tar -zxvf jdk-8u172-linux-x64.tar.gz
![](https://i-blog.csdnimg.cn/blog_migrate/55486c5788363437f792f9eb838b72f4.png)
2.回到当前用的家目录下
cd
3.配置环境变量
vim .bash_profile
4.光标移到最后一行,按下o,输入
export JAVA_HOME=/home/hadoop/soft/jdk1.8.0_172
export PATH=$JAVA_HOME/bin:$PATH
![](https://i-blog.csdnimg.cn/blog_migrate/3ad011710ad2d2c3f11027d8a8d97170.png)
5.按下esc,输入:wq,保存退出
6.source .bash_profile刷新下配置文件
7.使用javac -version查看JDK是否配置成功
五、配置免密码登录
1.切换到root用户下,编辑/etc/hosts,将本机的ip地址与主机名绑定
su root
vim /etc/hosts
![](https://i-blog.csdnimg.cn/blog_migrate/2b7118d60398624f1a05389f29a27de5.png)
2.切换回普通用户hadoop
su hadoop
3.开始配置免密,生成密钥和公钥
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
![](https://i-blog.csdnimg.cn/blog_migrate/c6ec38f25b0d6f1310fbc07eaf06b6f4.png)
4.将公钥追加到认证库中
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
5.修改认证库的访问权限
chmod 0600 ~/.ssh/authorized_keys
6.测试免密登录
ssh 本机ip
第一次登录,仅需要需要yes即可,到此,免密完成
六、安装hadoop,搭建Hadoop伪分布式集群
1.进入soft目录
cd /home/hadoop/soft
2.解压hadoop2.7.3
tar -zxvf hadoop-2.7.3.tar.gz
![](https://i-blog.csdnimg.cn/blog_migrate/f5e57e297d4faa3c29d1ad1369d06302.png)
3.将hadoop-2.7.3重新命名为hadoop
mv hadoop-2.7.3 hadoop
![](https://i-blog.csdnimg.cn/blog_migrate/6deb623c5d9db78782fd0c9a97e20e96.png)
4.切换目录
cd /home/hadoop/soft/hadoop/etc/hadoop
![](https://i-blog.csdnimg.cn/blog_migrate/2ff2a43d30ffa7b6e6e42d1f9f79c850.png)
5.编辑hadoop-env.sh文件,修改hadoop依赖的JAVA_HOME
vim hadoop-env.sh
![](https://i-blog.csdnimg.cn/blog_migrate/22e0ad5fc073dfea7fe588104a59cdde.png)
6.编辑core-site.xml文件,加入下方内容
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
![](https://i-blog.csdnimg.cn/blog_migrate/d1deee0228450f54ae433b1212d175bf.png)
7.编辑hdfs-site.xml,加入下方内容
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
8.配置hadoop环境变量
cd
vim .bash_profile
在文件下方追加
export HADOOP_HOME=/home/hadoop/soft/hadoop
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
按下esc,输入:wq,保存退出编辑
9.刷新配置文件
source .bash_profile
10.格式化namenode
hdfs namenode -format
出现红框位置信息,配置正确
10.启动hdfs
start-dfs.sh
11.查看启动的进程数
jps
![](https://i-blog.csdnimg.cn/blog_migrate/d16a913cc3b847229e04c82ead6d5fdb.png)
出现上面四个进程,表示hdfs启动成功
12.可以在虚拟机内打开浏览,输入
http://master:50070/
http://localhost:50070/
http://10.1.199.229:50070/
能出现下述界面,至此hadoop伪分布式搭建成功
13.在window下翻墙,进入目录:C:\Windows\System32\drivers\etc
14.右键hosts文件,选择属性
15.切换到安全选项卡,选中当前window用户,选择编辑
16.对Users的权限赋予完全控制,修改,读取和执行,读取,执行。
17.打开hosts文件,在空白处追加
10.1.199.229 master
18.windows浏览器界面也能够打开
http://master:50070/
http://10.1.199.229:50070/