【hadoop】hadoop 安装和集群配置

已经准备好：master，slave，slave1三个服务器；master上安装了jdk；master免密登录到slave和slave1上。

win下ssh把hadoop安装包传输到linux上

解压缩：tar -zxvf xxx

 配置环境变量：

(1)vim hadoop.3.1.4/etc/hadoop/hadoop-env.sh

(2)vim etc/hadoop/yarn-env.sh

 (3)vim etc/hadoop/core-site.xml

登录后复制

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:9000</value>
  </property>
  <property>
     <name>hadoop.tmp.dir</name>
     <value>/home/museage/hadoopdata</value>
  <property>
</configuration>

• 1.
• 2.
• 3.
• 4.
• 5.
• 6.
• 7.
• 8.
• 9.
• 10.

(4)vim etc/hadoop/hdfs-site.xml

登录后复制

<configuration>
   <property>
      <name>dfs.replication</name>
      <value>2</value>
   </property>
</configuration>

• 1.
• 2.
• 3.
• 4.
• 5.
• 6.

(5)配置yarn资源系统：vim etc/hadoop/yarn-site.xml

登录后复制

<property>
   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce_shuffle</value>
</property>
<property>
   <name>yarn.resourcemanager.address</name>
   <value>master:18040</value>
</property>
<property>
   <name>yarn.resourcemanager.scheduler.address</name>
   <value>master:18030</value>
</property>
<property>
   <name>yarn.resourcemanager.resource-tracker.address</name>
   <value>master:18025</value>
</property>
<property>
   <name>yarn.resourcemanager.admin.address</name>
   <value>master:18141</value>
</property>
<property>
   <name>yarn.resourcemanager.webapp.address</name>
   <value>master:18088</value>
</property>

• 1.
• 2.
• 3.
• 4.
• 5.
• 6.
• 7.
• 8.
• 9.
• 10.
• 11.
• 12.
• 13.
• 14.
• 15.
• 16.
• 17.
• 18.
• 19.
• 20.
• 21.
• 22.
• 23.
• 24.

(6) 配置计算框架：hadoop目录下：vim  mapred-site.xml

登录后复制

<configuration>
     <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
     </property>
</configuration>

• 1.
• 2.
• 3.
• 4.
• 5.
• 6.

（7）配置计算节点：hadoop目录下：vim workers

删除localhost，添加slave，slave1

复制hadoop到从节点：

scp -r  hadoop-3.1.4  user@slave：dic

scp -r  hadoop-3.1.4  user@slave1：dic

配置Hadoop启动的系统环境变量：

vim /home/user/.bash_profile

 

创建临时数据目录：

mkdir /home/museage/hadoopdata

启动Hadoop集群：

 (1)在Hadoop上格式化文件系统HDFS

hdfs namenode -format

（2）启动hadoop：sbin/start-dfs.sh 

  (3)关闭hadoop:sbin/stop-dfs.sh

测试：

 http://master/cluster

 

原创作者: u_16969274 转载于: https://blog.51cto.com/u_16969274/11813106