Hadoop基础(二) :Hadoop集群配置

最新推荐文章于 2023-09-23 17:39:59 发布
最新推荐文章于 2023-09-23 17:39:59 发布
阅读量371 收藏
点赞数
分类专栏： Hadoop大数据 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41544711/article/details/104658997
版权

1.安装JDK环境

运行java -version查看节点中是否安装有jdk
在这里插入图片描述

添加环境变量
将安装jdk的目录添加到/etc/profile文件中
在这里插入图片描述
执行命令source /etc/profile使得配置生效

2.安装Hadoop

（1）准备安装包
先在官网上下载Hadoop的安装包https://archive.apache.org/dist/hadoop/core/hadoop-2.6.4/
在这里插入图片描述
（2）安装Hadoop
利用Xftp上传hadoop-2.6.4.tar.gz文件到/opt目录，解压缩hadoop-2.6.4.tar.gz 文件，tar -zxf hadoop-2.6.4.tar.gz -C /usr/local解压后即可，看到/usr/local/hadoop-2.6.4文件夹,标记的文件
在这里插入图片描述
（3）修改配置
进入目录：cd /usr/local/hadoop-2.6.4/etc/hadoop/
依次修改下面的文件：

  • core-site.xml
<configuration>
    <property>
    <name>fs.defaultFS</name>  
      <value>hdfs://master:8020</value>  
      </property>  
    <property>
      <name>hadoop.tmp.dir</name>
      <value>/var/log/hadoop/tmp</value>
    </property>
</configuration>
  • hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_151
  • hdfs-site.xml
<configuration>
<property>
    <name>dfs.namenode.name.dir</name>
    <value>file:///data/hadoop/hdfs/name</value>
</property>
<property>
    <name>dfs.datanode.data.dir</name>
    <value>file:///data/hadoop/hdfs/data</value>
</property>
<property>
     <name>dfs.namenode.secondary.http-address</name>
     <value>master:50090</value>
</property>
<property>
     <name>dfs.replication</name>
     <value>3</value>
</property>
</configuration>
  • 复制cp mapred-site.xml.template mapred-site.xml
  • mapred-site.xml
<configuration>
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
<!-- jobhistory properties -->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>master:10020</value>
</property>
<property>
     <name>mapreduce.jobhistory.webapp.address</name>
     <value>master:19888</value>
</property>
</configuration>
  • yarn-site.xml
<configuration>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>master</value>
  </property>    
  <property>
    <name>yarn.resourcemanager.address</name>
    <value>${yarn.resourcemanager.hostname}:8032</value>
  </property>
  <property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>${yarn.resourcemanager.hostname}:8030</value>
  </property>
  <property>
    <name>yarn.resourcemanager.webapp.address</name>
    <value>${yarn.resourcemanager.hostname}:8088</value>
  </property>
  <property>
    <name>yarn.resourcemanager.webapp.https.address</name>
    <value>${yarn.resourcemanager.hostname}:8090</value>
  </property>
  <property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>${yarn.resourcemanager.hostname}:8031</value>
  </property>
  <property>
    <name>yarn.resourcemanager.admin.address</name>
    <value>${yarn.resourcemanager.hostname}:8033</value>
  </property>
  <property>
    <name>yarn.nodemanager.local-dirs</name>
    <value>/data/hadoop/yarn/local</value>
  </property>
  <property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
  </property>
  <property>
    <name>yarn.nodemanager.remote-app-log-dir</name>
    <value>/data/tmp/logs</value>
  </property>
<property> 
 <name>yarn.log.server.url</name> 
 <value>http://master:19888/jobhistory/logs/</value>
 <description>URL for job history server</description>
</property>
<property>
   <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
  </property>
 <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
      <value>org.apache.hadoop.mapred.ShuffleHandler</value>
      </property>
<property>  
        <name>yarn.nodemanager.resource.memory-mb</name>  
        <value>2048</value>  
 </property>  
 <property>  
        <name>yarn.scheduler.minimum-allocation-mb</name>  
        <value>512</value>  
 </property>   
 <property>  
        <name>yarn.scheduler.maximum-allocation-mb</name>  
        <value>4096</value>  
 </property> 
 <property> 
    <name>mapreduce.map.memory.mb</name> 
    <value>2048</value> 
 </property> 
 <property> 
    <name>mapreduce.reduce.memory.mb</name> 
    <value>2048</value> 
 </property> 
 <property> 
    <name>yarn.nodemanager.resource.cpu-vcores</name> 
    <value>1</value> 
 </property>
</configuration>
  • yarn-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_151
  • slaves
删除localhost，添加：
slave1
slave2
slave3
  • 设置IP映射,编辑各节点/etc/hosts,添加：
192.168.128.130 master master.centos.com
192.168.128.131 slave1 slave1.centos.com
192.168.128.132 slave2 slave2.centos.com
192.168.128.133 slave3 slave3.centos.com
  • 拷贝hadoop安装文件到集群slave节点
scp -r /usr/local/hadoop-2.6.4 slave1:/usr/local
scp -r /usr/local/hadoop-2.6.4 slave2:/usr/local
scp -r /usr/local/hadoop-2.6.4 slave3:/usr/local

（4）配置SSH无密码登录

  • 使用ssh-keygen产生公钥与私钥对。输入命令“ssh-keygen -t rsa”，接着按三次Enter键
[root@master ~]# ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa): 
Created directory '/root/.ssh'.
Enter passphrase (empty for no passphrase): 
Enter same passphrase again: 
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
a6:13:5a:7b:54:eb:77:58:bd:56:ef:d0:64:90:66:d4 root@master.centos.com
The key's randomart image is:
+--[ RSA 2048]----+
|              .. |
|             . .E|
|          .   =  |
|         . . o o |
|      o S .   . =|
|     o * .   o ++|
|    . + . . o ooo|
|       o   . ..o |
|                .|
+-----------------+

生成私有密钥id_rsa和公有密钥id_rsa.pub两个文件。ssh-keygen用来生成RSA类型的密钥以及管理该密钥，参数“-t”用于指定要创建的SSH密钥的类型为RSA。

  • 用ssh-copy-id将公钥复制到远程机器中，依次输入yes,123456（root用户的密码）
ssh-copy-id -i /root/.ssh/id_rsa.pub master
ssh-copy-id -i /root/.ssh/id_rsa.pub slave1
ssh-copy-id -i /root/.ssh/id_rsa.pub slave2
ssh-copy-id -i /root/.ssh/id_rsa.pub slave3
  • 验证是否设置无密码登录,依次输入
ssh slave1
ssh slave2
ssh slave3

(5) 配置时间同步服务

  • 安装NTP服务。在各节点：
yum -y install ntp
ssh slave1 yum -y install ntp
ssh slave2 yum -y install ntp
ssh slave3 yum -y install ntp
  • 设置假设master节点为NTP服务主节点，那么其配置如下。
    使用命令“vim /etc/ntp.conf”打开/etc/ntp.conf文件，注释掉以server开头的行，并添加:
restrict 192.168.0.0 mask 255.255.255.0 nomodify notrap
server 127.127.1.0
fudge 127.127.1.0 stratum 10
  • 在slave中配置NTP，同样修改vim /etc/ntp.conf文件，注释掉server开头的行，并添加:
server master
  • 永久性关闭防火墙，主节点和从节点都要关闭
service iptables stop & chkconfig iptables off
ssh slave1 service iptables stop & chkconfig iptables off
ssh slave2 service iptables stop & chkconfig iptables off
ssh slave3 service iptables stop & chkconfig iptables off
  • 启动NTP服务
service ntpd start & chkconfig ntpd on
ssh slave1 service ntpd start & chkconfig ntpd on
ssh slave2 service ntpd start & chkconfig ntpd on
ssh slave3 service ntpd start & chkconfig ntpd on
ssh slave1 ntpdate master
ssh slave2 ntpdate master
ssh slave3 ntpdate master

(6) 添加Hadoop环境变量
在/etc/profile添加JAVA_HOME和Hadoop路径，vim /etc/profile

export HADOOP_HOME=/usr/local/hadoop-2.6.4
export JAVA_HOME=/usr/java/jdk1.8.0_151
export PATH=$HADOOP_HOME/bin:$PATH:$JAVA_HOME/bin

在这里插入图片描述
source /etc/profile使修改生效

  • 格式化NameNode,进入目录cd /usr/local/hadoop-2.6.4/bin,执行格式化 ./hdfs namenode -format
    注意！启动Hadoop前必须进行格式化，而且必须格式化成功才能成功启动

  • 启动集群，进入目录cd /usr/local/hadoop-2.6.4/sbin,执行启动：

./start-dfs.sh
./start-yarn.sh
./mr-jobhistory-daemon.sh start historyserver
  • 使用jps，查看进程,验证是否正常启动Hadoop集群
[root@master sbin]# jps
1765 NameNode
1929 SecondaryNameNode
2378 JobHistoryServer
2412 Jps
2077 ResourceManager

[root@slave1 ~]# jps
1844 Jps
1612 DataNode
1711 NodeManager
  • 关闭防火墙（在所有节点执行）：
service iptables stop 
chkconfig iptables off
  • 在Windows下C:\Windows\System32\drivers\etc\hosts添加IP映射
192.168.128.130 master master.centos.com
192.168.128.131 slave1 slave1.centos.com
192.168.128.132 slave2 slave2.centos.com
192.168.128.133 slave3 slave3.centos.com
  • 浏览器查看：
http://master:50070
http://master:8088

在这里插入图片描述

酥茶·
关注
专栏目录
Hadoop实验1：搭建Hadoop集群
qq_60980343的博客
12-21 1972
目录 一、启动Docker容器 1.加载镜像 2.启动实验容器 二、配置Hadoop环境 1.配置JAVA环境 2.配置分布式模式 3.配置hosts文件 4.配置SSH无密码登录 5.安装Hadoop并配置环境变量 三、配置+集群环境 1.修改文件slaves 2.修改文件core-site.xml 3. 修改文件hdfs-site.xml 4.修改文件mapred-site.xml 5.修改文件yarn-site.xml 四、配置slave节点 五、启动Hadoop集.
Hadoop集群http://hadoop3:8088端口不能打开引发的血案
xiami010704的博客
10-12 2198
目录 问题一：The authenticity of host" hadoop3 ( 192.168.186.130) ' can't be established 解决方法： 问题二：hadoop2: nodemanager did not stop gracefully after 5 seconds: killing with kill -9 解决方法： 问题一： 在hadoop3中执行./start-yarn.sh时发生The authenticity of host" hadoop..
hadoop分布式集群环境搭建
12-04
hadoop分布式集群环境搭建参考文档
Hadoop集群搭建
c.......p
01-17 332
目录 1.什么是hadoop 2.HDFS整体运作机制 3.搭建HDFS分布式集群 3.1.需要准备多台Linux服务器 3.2安装，配置，启动HDFS 3.2.1上传hadoop安装包到各服务器 3.2.2修改配置文件 3.33启动HDFS hdfs命令行客户端的所有命令列表 1.什么是hadoop hadoop中有3个核心模块： HDFS（分布式文件系统）：将文件分布式...
Hadoop入门·从零搭建hadoop集群
empyan的博客
02-10 2690
    首先先介绍下集群。就是现在是大数据时代嘛。生活中每天无时无刻都在产生着海量数据，这些数据都是很有价值的，比如分析用户数据可以掌握用户喜好，进行针对推荐之类，医学上分析病人数据可以训练机器人学会看病。那么庞大的数据量用一台机子去计算，无论你的配置有多好，都跟不上撑不住。所以一个任务要有多台机子一起完成，一个任务由多台机子进行计算。这些机子就组成一个集群。而Hadoop中的HDFS模块，也就...
在hadoop集群添加了slave节点的方法
weixin_34313182的博客
07-03 388
分为以下几个步骤：  1  ，修改master和slave 的参数，和配置时相同，只是修改和节点数相关，如slaves(我的只改了slaves), 将任意一个该好的文件发送到新增加的机器（或者虚拟机） ２，关闭集群stop-all.sh ３，删除已经配置好了的集群的每个slave配置文件里面data文件夹:如我的/usr/local/hadoop/tmp/dfs/data,将data文件夹删...
在已有hadoop集群基础上copy-Hadoop集群
qq_45899782的博客
11-24 2233
条件：1.利用xhell连接虚拟机，进行文件传输和环境的搭建；共需 6 个节点 首先更改集群二的用户名 [root@localhost ~]# hostnamectl set-hostname dsw01 [root@localhost ~]# exit #重复更改三台，重新连接虚拟机，名字就改好了 对集群二的hosts和hostname文件进行修改 vim /etc/hosts #集群二3个节点的ip和用户名 例：10.10.10.10 hostname01 10.10.10.11 host
hadoop_ansible:使用Ansible创建hadoop集群
03-22
hadoop_ansible 使用Ansible创建hadoop集群 1.在名称和数据节点中设置通用配置2.Namenode配置3.Datanode配置
Hadoop configuration files:Hadoop配置文件-开源
05-08
Hadoop 1.x和2.x配置文件以及一些其他文件来配置Hadoop集群
大数据技术基础实验报告-Linux环境下hadoop集群的搭建与基本配置.doc
08-21
【大数据技术基础实验报告-Linux环境下hadoop集群的搭建与基本配置】 实验主要涉及了大数据技术中的基础概念，包括Linux操作系统、Java环境、SSH服务、Hadoop集群的搭建与配置。以下是具体步骤和知识点的详细解释：...
【无标题】拷贝Hadoop所有文件到其他节点
最新发布
m0_74861858的博客
09-23 411
2、拷贝Hadoop01所有配置文件到hadoop02。4、拷贝hadoop所有配置文件到hadoop03。6、拷贝环境变量配置文件到hadoop02。2、修改start-dfs.sh脚本文件。6、修改start-dfs.sh 脚本文件。7、拷贝环境变量文件到hadoop03。8、修改stop-dfs.sh 脚本文件。4、修改stop-dfs.sh脚本文件。8、在hadoop02上创建软连接。9、在hadoop03上创建软连接。（一）、拷贝Hadoop所有文件。3、hadoop03拷贝完成。
学习Hadoop第二课（Hadoop初始化和测试）
MrZhang的博客
09-10 1576
第一步：配置Hadoop环境变量 首先需要Hadoop的环境变量 输入命令：vim /etc/profile并按回车进入配置文件，如下图所示，添加的内容是下面红色圈住的内容。 然后输入命令source /etc/profile来使配置起作用。 第二步：初始化 接下来开始初始化HDFS（格式化文件系统），格式化之前hadoop2.9.1目录是没有tmp这个目录的。 输入命令hdfs ...
配置时间同步服务
weixin_43621549的博客
01-16 4084
（1）安装NTP服务。在各节点： yum -y install ntp （2）设置假设master节点为NTP服务主节点，那么其配置如下。 使用命令“vim /etc/ntp.conf”打开/etc/ntp.conf文件，注释掉以server开头的行，并添加: restrict 192.168.0.0 mask 255.255.255.0 nomodify notrap server 127.127.1.0 fudge 127.127.1.0 stratum 10 （3）在slave中配置NTP，同样修改/
Hadoop初体验（5）：免密登录和时间同步
OPM的博客
02-28 479
这部分不是重点内容，直接记录操作了 配置SSH免密码登陆部分 一、使用ssh-keygen产生公钥和私钥对 [root@master ~]# ssh-keygen -t rsa 按三次回车 生成私有密钥 二、ssh-copy-id将公钥复制到远程机器 [root@master ~]# ssh-copy-id -i /root/.ssh/id_rsa.pub master [ro...
hadoop namenode热备切换过程和secondarynamenode的作用
小爷欣欣
05-03 5740
hadoop集群中一般有两个namenode，一个处于active激活状态，另一个处于StandBy状态，Active状态的NameNode负责集群中所有的客户端操作，这么设置的目的，其实HDFS底层的机制是有关系的，同一时刻一个文件，只允许一个写入方占用，如果出现多个，那么文件偏移量便会混乱，从而导致数据格式不可用，当然状态为Standby的NameNode这时候仅仅扮演一个Slave的角色，以...
Hadoop之Hadoop命令
月生的静心苑
12-21 2459
所有的hadoop命令均由bin/hadoop脚本引发。不指定参数运行hadoop脚本会打印所有命令的描述。实际上很多命令运行的时候虽然可以运行成功但是会有类似如下告警提示，这是因为调用文件系统的命名改为了hdfs，对hadoop文件系统的操作使用hdfs命令和hadoop命令效果是一样的，且建议使用hdfs。
通过命令来查看NameNode的状态（是Active还是Standby）
热门推荐
快乐的风男
08-12 2万+
hadoop2.2.0（HA）中HDFS的高可靠指的是可以同时启动2个NameNode。其中一个处于工作状态，另一个处于随时待命状态。这样，当一个NameNode所在的服务器宕机时，可以在数据不丢失的情况下，手工或者自动切换到另一个NameNode提供服务。  这些NameNode之间通过共享数据，保证数据的状态一致。多个NameNode之间共享数据，可以通过Nnetwork File Syst...
Hadoop的HDFS中namenode和datenode内容分析
llc1984513的博客
01-09 1万+
NameNode：是Master节点，是大领导。管理数据块映射；处理客户端的读写请求；配置副本策略；管理HDFS的名称空间； SecondaryNameNode：是一个小弟，分担大哥namenode的工作量；是NameNode的冷备份；合并fsimage和fsedits然后再发给namenode。 DataNode：Slave节点，奴隶，干活的。负责存储client发来的数据块bloc
搭建Hadoop完全分布式集群3
m0_59186440的博客
12-27 921
上一小节，我们搭建好第一台虚拟机搭建Hadoop完全分布式集群2_m0_59186440的博客-CSDN博客https://blog.csdn.net/m0_59186440/article/details/122170209https://blog.csdn.net/m0_59186440/article/details/122170209前文链接前面一节我们完成了虚拟机的安装，下面我们进行配置vi /etc/sysconfig/network-scripts/ifcfg-eth0DEVICE=eth0H
Hadoop入门指南：单机到集群的实践
通过学习这个手册，读者将能够搭建和管理Hadoop集群，理解Hadoop的内部工作机制，并具备进行大数据处理的基础能力。同时，手册还提供了监控Hadoop运行状态的方法和工具，以及如何执行MapReduce作业，这对于日常运维...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值