虚拟机搭建hadoop集群步骤

最新推荐文章于 2024-05-03 13:30:58 发布
最新推荐文章于 2024-05-03 13:30:58 发布
阅读量2.2k 收藏 8
点赞数
文章标签： hadoop hdfs big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38076935/article/details/122517683
版权

内存4G，硬盘50G

  1. 安装好linux
    /boot 200M
    /swap 2g
    / 剩余

  2. *安装VMTools

  3. 关闭防火墙
    sudo service iptables stop
    sudo chkconfig iptables off

  4. 设置静态IP，改主机名
    编辑vim /etc/sysconfig/network-scripts/ifcfg-eth0
    改成
    =================================
    DEVICE=eth0
    TYPE=Ethernet
    ONBOOT=yes
    BOOTPROTO=static
    NAME=“eth0”
    IPADDR=192.168.5.101
    PREFIX=24
    GATEWAY=192.168.5.2
    DNS1=192.168.5.2
    =================================
    编辑vim /etc/sysconfig/network
    改HOSTNAME=那一行

  5. 配置/etc/hosts
    vim /etc/hosts
    =============================
    192.168.1.100 hadoop100
    192.168.1.101 hadoop101
    192.168.1.102 hadoop102
    192.168.1.103 hadoop103
    192.168.1.104 hadoop104
    192.168.1.105 hadoop105
    192.168.1.106 hadoop106
    192.168.1.107 hadoop107
    192.168.1.108 hadoop108
    192.168.1.109 hadoop109
    =============================

  6. 创建一个一般用户atguigu，给他配置密码
    useradd atguigu
    passwd atguigu

  7. 配置这个用户为sudoers
    vim /etc/sudoers
    在root ALL=(ALL) ALL
    添加atguigu ALL=(ALL) NOPASSWD:ALL
    保存时wq!强制保存

  8. *在/opt目录下创建两个文件夹module和software，并把所有权赋给atguigu
    mkdir /opt/module /opt/software
    chown atguigu:atguigu /opt/module /opt/software

  9. 关机，快照，克隆

从这里开始要以一般用户登陆

  1. 克隆的虚拟机改IP

  2. 搞一个分发脚本
    cd ~
    vim xsync
    内容如下：
    =================================================================

#!/bin/bash
#1 获取输入参数个数，如果没有参数，直接退出
pcount=$#
if ((pcount==0)); then
echo no args;
exit;
fi

#2 获取文件名称
p1=$1
fname=`basename $p1`
echo fname=$fname

#3 获取上级目录到绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir

#4 获取当前用户名称
user=`whoami`

#5 循环
for((host=103; host<105; host++)); do
        echo ------------------- hadoop$host --------------
        rsync -av $pdir/$fname $user@hadoop$host:$pdir
done

==============================================================

chmod +x xsync

sudo cp xsync /bin

sudo xsync /bin/xsync

  1. 配置免密登陆

    1. 生成密钥对
ssh-keygen -t rsa 三次回车

2. 发送公钥到本机
ssh-copy-id hadoop102 输入一次密码

3. 分别ssh登陆一下所有虚拟机
ssh hadoop103
exit
ssh hadoop104
exit

4. 把/home/atguigu/.ssh 文件夹发送到集群所有服务器
xsync /home/atguigu/.ssh

  2. 在一台机器上安装Java和Hadoop，并配置环境变量，并分发到集群其他机器
    1. 拷贝文件到/opt/software，两个tar包
    2. tar -zxf h"+tab" -C /opt/module
    3. tar -zxf j"+tab" -C /opt/module
    4. sudo vim /etc/profile
    在文件末尾添加
    =======================================================

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

========================================================
保存
5. source /etc/profile

    6. sudo xsync /etc/profile
    
    7. 在其他机器分别执行source /etc/profile

###所有配置文件都在$HADOOP_HOME/etc/hadoop
14. 首先配置hadoop-env.sh,yarn-env.sh,mapred-env.sh文件,配置Java_HOME
在每个文件第二行添加 export JAVA_HOME=/opt/module/jdk1.8.0_144

  1. 配置Core-site.xml

    <!-- 指定HDFS中NameNode的地址 -->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop102:9000</value>
</property>

<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>

  2. 配置hdfs-site.xml


    dfs.replication
    3



    dfs.namenode.secondary.http-address
    hadoop104:50090

  3. 配置yarn-site.xml

    <!-- Site specific YARN configuration properties -->
<!-- Reducer获取数据的方式 -->
<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>

<!-- 指定YARN的ResourceManager的地址 -->
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop103</value>
</property>
<!-- 日志聚集功能使能 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>

<!-- 日志保留时间设置7天 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>

  4. 配置mapred-site.xml

    mapreduce.framework.name
    yarn

    mapreduce.jobhistory.address hadoop104:10020 mapreduce.jobhistory.webapp.address hadoop104:19888

    启动历史服务器：mr-jobhistory-daemon.sh start historyserver

  5. 配置Slaves
    hadoop102
    hadoop103
    hadoop104

  6. 分发配置文件
    xsync /opt/module/hadoop-2.7.2/etc

  7. 格式化Namenode 在hadoop102
    hdfs namenode -format

  8. 启动hdfs
    start-dfs.sh

  9. 在配置了Resourcemanager机器上执行
    在Hadoop103上启动start-yarn.sh

24
mkdir input
vim input/input
abc
def efg
asd

hadoop fs -put input /
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /input /output

此处可能出现一个问题：启动Hadoop时，DataNode启动后一会儿自动消失
原因：因为datanode的clusterID 和 namenode的clusterID 不匹配，出现该问题的原因：在第一次格式化dfs后，启动并使用了hadoop，后来又重新执行了格式化命令（hdfs namenode -format)，这时namenode的clusterID会重新生成，而datanode的clusterID 保持不变。

解决办法： 1.打开hdfs-site.xml里配置的datanode和namenode对应的目录，分别打开current文件夹里的VERSION，可以看到clusterID项正如日志里记录的一样，确实不一致，修改datanode里VERSION文件的clusterID 与namenode里的一致，再重新启动dfs（执行start-dfs.sh）再执行jps命令可以看到datanode已正常启动。
2. 可能是因为重新格式化集群，但是以前的数据没有清理干净。重新格式化方式如下：
注意：重新格式化HDFS要将hdfs-site.xml中dfs.namenode.name.dir和dfs.datanode.data.dir所指定目录下的内容删除；core-site.xml中hadoop.tmp.dir目录中的内容删除。
然后重新启动hadoop集群，执行hadoop namenode -format

25 关 stop-dfs.sh stop-yarn.sh

26 hadoop-daemon.sh start namenode或datanode
yarn-daemon.sh start resourcemanager或nodemanager

注意： 如果集群出了问题
stop-dfs.sh
stop-yarn.sh
cd $HADOOP_HOME
rm -rf data logs
回到21步骤

Arrowyy
关注
虚拟机下搭建Hadoop集群
Sirm23333
10-07 632
一、准备 VMware Workstation pro 15 CentOS-6.5-x86_64-minimal Hadoop 3.1.1 二、安装CentOS6.5 以下未出现的安装过程中的步骤，均可以选择默认选项。 打开VMware，创建虚拟机，选择自定义安装： 选择稍后安装操作系统： 输入虚拟机名字及安装的路径，这里只影响在VMware中显示的名字： 内存选择1G以上...
Ubuntu 16.4虚拟机 配置Hadoop集群
ws_Ando的博客
11-24 2720
Ubuntu 16.4 配置Hadoop集群
在虚拟机上搭建Hadoop集群
lovewordskd的博客
10-18 427
cd /usr/software/ 通过xshell把tar包拖进来 tar -zxvf hadoop-2.7.3.tar.gz rm -rf hadoop-2.7.3.tar.gz cd hadoop-2.7.3/etc/hadoop/ vi hadoop-env.sh 找到并修改：export JAVA_HOME=/usr/software/jdk1.8.0_181 vi core-site.xml 在configuration的标签中间添加： <property> <name&gt
虚拟机搭建hadoop集群
yan_pan的博客
08-23 704
虚拟机搭建docker集群 1.配置JAVA环境 下载JAVA压缩包使用命令进行解压 tar -zxvf 压缩包文件 解压成功后进入/etc/profile中配置JAVA环境 vi /etc/profile export JAVA_HOME=/root/jdk1.8.0_201（JDK文件地址） export CLASSPATH=$:CLASSPATH:$JAVA_HOME/lib/ export PATH=$PATH:$JAVA_HOME/bin 配置完后使用命令生效 source /etc/pr
hadoop学习之hadoop完全分布式集群安装
热门推荐
落魄影子
12-03 12万+
注：本文的主要目的是为了记录自己的学习过程，也方便与大家做交流。转载请注明来自： http://blog.csdn.net/ab198604/article/details/8250461   要想深入的学习hadoop数据分析技术，首要的任务是必须要将hadoop集群环境搭建起来，可以将hadoop简化地想象成一个小软件，通过在各个物理节点上安装这个小软件，然后将其运行起来，就是一个h
meethigher-虚拟机部署hadoop集群
meethigher的博客
06-01 439
参考文章 一、配置虚拟机以及本地IP vmware中编辑-虚拟网络编辑器 本地网络共享中心-适配器-vmnet8 二、配置开发机器环境 为了用xshell时，不用一直写ip地址，我们可以在自己的开发机器上进行配置C:\Windows\System32\drivers\etc\hosts 192.168.10.100 hadoop100 192.168.10.101 hadoop101 192.168.10.102 hadoop102 192.168.10.103 hadoop103 192.168.10
虚拟机搭建Hadoop集群操作文档
06-05
详细描述了在笔记本电脑上搭建hadoop的安装步骤，包括前期虚拟机的安装和配置，hdfs、kafka、spark、storm等组件的安装。
Hadoop虚拟机搭建Hadoop-3.3.0集群环境
06-07
在搭建Hadoop集群之前，我们需要准备以下要素： 1. **虚拟机环境**：通常我们会使用VirtualBox或VMware等虚拟化软件创建多台虚拟机来模拟集群环境。 2. **操作系统**：一般选择Linux发行版，如Ubuntu、CentOS等，...
VMware搭建Hadoop集群 for Windows（完整详细，实测可用）_vmware安装hadoop教程
最新发布
2401_84183669的博客
05-03 688
搭建集群需要3个虚拟机，hadoop01，hadoop02，hadoop03，已经安装了hadoop01，剩下两个需要用到虚拟机克隆。下载一个linux版本的JDK，这里是 jdk-8u161-linux-x64.tar.gz，3台机器均要执行以下。hadoop02、hadoop03修改时，把对于域名修改成hadoop02、hadoop03即可。hadoop02、hadoop03修改时，把对于域名修改成hadoop02、hadoop03即可。同理，克隆出hadoop03即可，到这虚拟机创建及配置完毕。
linux虚拟机搭建hadoop伪分布式集群
04-26
在搭建Hadoop伪分布式集群的过程中，首先需要在Linux环境下配置VMware的NAT网络，确保虚拟机能够稳定地运行和通信。NAT网络允许虚拟机通过宿主机与外部网络进行通信，同时保持IP地址的固定性。具体操作包括取消DHCP...
vmware虚拟机下hadoop集群安装过程
11-01
详细介绍采用vmware虚拟机安装 hadoop系统的过程， 为学习hadoop创造一个良好的环境
hadoop学习虚拟机集群搭建
09-19
Hadoop的特性优点 高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。 高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。 高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。 高容错性。Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。 低成本。与一体机、商用数据仓库以及QlikView、Yonghong Z-Suite等数据集市相比，hadoop是开源的，项目的软件成
虚拟机中搭建hadoop集群
qq_45143653的博客
11-06 332
一、克隆hadoop虚拟机 二、修改主机名 编辑：[root@mycentOS603 Data]# vi /etc/sysconfig/network 三、查看IP地址更改/etc/hosts ifconfig查看IP地址 vi /etc/hosts修改地址映射 四、在Windows尝试ping命令 修改C:\Windows\System32\driver...
从创建虚拟机开始搭建hadoop集群
Shixuefeng2410的博客
01-13 1155
******************************************** #1、虚拟机安装和初始化配置 #初始化安装完成 1.1设置主机名 hostname 查看主机名 hostnamectl set-hostname HOSTNAME 设置主机名（single01） 1、2编辑主机名和IP地址映射 vi /etc/hosts #***********************************...
搭建hadoop集群--配置虚拟机
chalotte_kan的博客
07-26 645
搭建集群前ssh免密连接以及克隆后对虚拟机的一些设置
搭建hadoop集群，从安装虚拟机开始直到hadoop成功搭建
sgsgsgwe的博客
06-16 3306
搭建Hadoop集群一、实验目的与要求学习和掌握Hadoop的相关应用，首先必须得学会搭建Hadoop集群。本次实验将针对Hadoop集群的搭建内容进行演练。学会虚拟机的安装和克隆，Linux系统的网络配置和SSH配置，Hadoop集群的搭建和配置，Hadoop集群测试，熟悉Hadoop集群基本的操作。要求：1、认真理解集群搭建过程，通过实践成功搭建Hadoop集群。2、结合实践内容和教材的相关章节完成实验报告。二、实验内容1、虚拟机安装2、虚拟机克隆3、Linux系统网络配置4、SSH服务配置5、JDK安
Hadoop集群环境搭建(虚拟机)
小白的进化史
02-01 1211
虚拟机环境搭建Hadoop集群 ———————基础环境搭建------------------- 虚拟机网络设置： 桥接模式的话会生成一个MAC地址与虚拟机对应 NAT模式一般常用 重启生效：service iptables start Centos6.5环境 1、关闭防火墙 chkconfig  iptables o
虚拟机中搭建Hadoop集群步骤详解
"虚拟机搭建Hadoop集群的详细步骤，包括CentOS系统的安装、rz命令的安装、OpenJDK的卸载以及Sun官方JDK的安装过程。" 在搭建Hadoop集群的过程中，首先需要准备合适的操作系统环境。在这个笔记中，作者选择了在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值