Hadoop安装

CentOS镜像：
下载地址

虚拟机改名字hostnamectl set-hostname master

reboot重启虚拟机命令

用ip addr查看ip地址

安装上传文件得到rz指令:yum install lrzsz -y

解压jdk命令: tar -zxvf 解压包名称

mv jdk1.8.0_202/ jdk1.8改jdk名字

配置jdk环境vi /etc/profile

export JAVA_HOME=/usr/local/soft/jdk1.8
export PATH=.:$JAVA_HOME/bin:$PATH

然后执行命令：source /etc/profile

检验jdk是否安装成功：java -version

克隆2个虚拟机(完整克隆)

链接xshell（记住用户名和密码）

解压hadoop

命令：tar -zxvf 解压包名称

直接关闭防火墙

systemctl stop firewalld
systemctl status firewalld
systemctl disable firewalld

免密登录 ssh-keygen -t rsa

vi /etc/hosts写IP之间的映射

192.168.44.129 master
192.168.44.130 node1
192.168.44.131 node2

将密钥拷贝到其他两个子节点，命令如下：

ssh-copy-id -i node1
ssh-copy-id -i node2

实现主节点master本地免密码登录

首先进入到/root 命令：cd /root
再进入进入到 ./.ssh目录下
然后将公钥写入本地执行命令：cat ./id_rsa.pub >> ./authorized_keys

将hosts文件拷贝到node1和node2节点

命令：
scp /etc/hosts node1:/etc/hosts
scp /etc/hosts node2:/etc/hosts
cd /usr/local/soft

* 修改hadoop-env.sh文件

export JAVA_HOME=/usr/local/soft/jdk1.8
export JAVA_HOME=${JAVA_HOME}

***修改 core-site.xml

将下面的配置参数加入进去修改成对应自己的

<configuration>

​        <property>

​                <name>fs.defaultFS</name>

​                <value>hdfs://master:9000</value>

​        </property>

​        <property>

​                <name>hadoop.tmp.dir</name>

​                <value>/usr/local/soft/hadoop-2.7.7/tmp</value>

​        </property>

​            <property>

​                 <name>fs.trash.interval</name>

​                 <value>1440</value>

​        </property>

</configuration>

修改 hdfs-site.xml 将dfs.replication设置为1

  <property>

​    <name>dfs.replication</name>

​    <value>1</value>

  </property>

  <property>

​    <name>dfs.permissions</name>

​    <value>false</value>

  </property>

文件yarn-site.xml

<configuration>

​    <property>

<name>yarn.resourcemanager.hostname</name>

<value>master</value>

</property>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<property>

<name>yarn.log-aggregation-enable</name>

<value>true</value>

</property>

<property>

<name>yarn.log-aggregation.retain-seconds</name>

<value>604800</value>

</property>

<property>  

  <name>yarn.nodemanager.resource.memory-mb</name>  

  <value>20480</value>  

</property>  

<property>  

  <name>yarn.scheduler.minimum-allocation-mb</name>  

  <value>2048</value>  

</property>  

<property>  

 <name>yarn.nodemanager.vmem-pmem-ratio</name>  

 <value>2.1</value>  

</property>  

</configuration>

**修改 mapred-site.xml（将map red-site.xml.template 复制一份为 mapred-site.xml

命令：cp mapred-site.xml.template mapred-site.xml

<configuration>
  <property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>  
<name>mapreduce.jobhistory.address</name>  
<value>master:10020</value>  
</property>  
<property>  
<name>mapreduce.jobhistory.webapp.address</name>  
<value>master:19888</value>  
</property>
</configuration>

，将hadoop的安装目录分别拷贝到其他子节点

 scp -r /usr/local/soft/hadoop-2.7.7  node1:/usr/local/soft/
 scp -r /usr/local/soft/hadoop-2.7.7  node2:/usr/local/soft/

启动hadoop

首先看下hadoop-2.7.7目录下有没有tmp文件夹。

如果没有 执行一次格式化命令：

cd  /usr/local/soft/hadoop-2.7.7目录下

执行命令：

./bin/hdfs namenode -format

会生成tmp文件。

然后在/usr/local/soft/hadoop-2.7.7目录下

 启动执行：./sbin/start-all.sh

关闭hadoop

关闭虚拟机shutdown