Hadoop伪分布式平台搭建

一、输入su进入超级用户模式

二、关闭防火墙与防火墙的自动运行

查看防火墙：systemctl status firewalld

关闭防火墙：systemctl stop firewalld

关闭防火墙自动运行：systemctl disable firewalld

   重新查看状态：应该为inactive（dead）

三、修改主机名

hostnamectl set-hostname   (主机名)

四、配置网卡

（1）打开网卡文件：

vim /etc/sysconfig/network-scripts/ifcfg-ens33

  (2)修改：

BOOTPROTO=static
ONBOOT=yes

      添加：

IPADDR=192.168.##.**   (##根据自己vm虚拟网络编拟器来定,**自己设置)
PREFIX=24
GATEWAY=192.168.##.2
NETMASK=255.255.255.0

(3)重启网卡：

service network restart

五 、链接WinScp

 

 

 上传hadoop和jdk的安装包

六、配置SSH免密登录

1. 产生密钥：

   ssh-keygen -t rsa

2. 创建公钥：

   cp ~/.ssh/id_rsa.pub  ~/.ssh/authorized_keys

3. 将密钥拷贝给自己 ：

   ssh-copy-id -i master（主机名）

4. 测试是否免密：

   ssh  (主机名)

七、解压安装包

     1.cd到上传到hadoop、jdk的文件位置

     2.tar zxvf 安装包名解压

tar zxvf jdk-8u151-linux-x64.tar.gz
tar zxvf Hadoop-2.7.3.tar.gz

   (解压后会生成hadoop-2.7.3 以及jdk1.8.151目录) 

mv hadoop-2.7.3  hadoop
mv jdk1.8.151  jdk 

mv 文件名   改名后的文件名

八、配置jdk和hadoop环境变量

1.打开：vim /etc/profile(进去后按一下键盘上的  i)

配置hadoop

export HADOOP_HOME=/usr/local/Hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

配置jdk

export JAVA_HOME=/usr/local/jdk
export PATH=JAVA_HOME/bin:$PATH

2.使环境生效：source /etc/profile

九、配置hadoop文件：

      进入文件目录：cd /usr/local/hadoop/etc/hadoop

1.打开vim hadoop-env.sh

export JAVA_HOME=/usr/local/jdk

           2.打开vim core-site.xml

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>（tmp目录）
<value>/usr/local/hadoop/tmp</value>
</property>
</configuration>

          3.打开vim hdfs-site.xml

<configuration>
<property>
<name>dfs.replication</name>
 <value>1</value>
</property>
</configuration>

         4.vim mapred-site.xml   (cp mapred-site.xml.template mapred-site.xml)  #改名

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

         5.打开vim yarn-site.xml

<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8035</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:8088</value>
</property>
</configuration>

十、格式化hadoop

hadoop namenode –format

十一、启动进程：

 

start-all.sh

输入jps显示进程

 如果输入jps显示：bash: jps: 未找到命令...

解决方法：输入

sudo yum install java-1.8.0-openjdk-devel.x86_64

如果使用yum命令时，解析不了yum源，出现报错

解决方法：打开网卡

vim /etc/sysconfig/network-scripts/ifcfg-ens33

在后面追加

DNS1=8.8.8.8
DNS2=4.2.2.2

重启网卡成功显示！