从零开始搭建Hadoop

最新推荐文章于 2024-08-27 17:34:47 发布
最新推荐文章于 2024-08-27 17:34:47 发布
阅读量386 收藏 3
点赞数 1
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42722145/article/details/105407308
版权

第一部分：准备工作

1 安装虚拟机
2 安装centos7
3 安装JDK
以上三步是准备工作，至此已经完成一台已安装JDK的主机
在这里插入图片描述

第二部分：准备３台虚拟机

以下所有工作最好都在root权限下操作

1 克隆

上面已经有一台虚拟机了,现在对master进行克隆,克隆出另外2台子机;
1.1 进行克隆2
在这里插入图片描述1.2 下一步
在这里插入图片描述1.3 下一步
在这里插入图片描述1.4 下一步
在这里插入图片描述
1.5 根据子机需要,命名和安装路径
在这里插入图片描述1.6 完成克隆
在这里插入图片描述
1.7 重复上述1-6步骤克隆出另外一台slave1.如图
在这里插入图片描述

2 参数确定(IP地址,主机名称)(三台虚拟机都要操作)

2.1 分别在三台虚拟机查看三台虚拟机的ip地址,ifconfig即可
在这里插入图片描述2.2 分别在三台虚拟机查看机器名称，并修改，主机改成master
在这里插入图片描述2.3 重复上面步骤检查3台虚拟机IP地址和名称,可以更改自己所想改的.三台机器具体参数如下:
192.168.119.135　　master
192.168.119.132　　slave1
192.168.119.134　　slave2

3 修改/etc/hosts(三台虚拟机都要操作)

3.1 修改 vim　/etc/hosts文件
在这里插入图片描述3.2 点击i进入编辑模式,加入三台机器的参数,:wq 保存退出（复制别人得图像，ip和名字参考自己得）
在这里插入图片描述3.3 检查三台虚拟机是否ping通，以master为例,都能ping通.
在这里插入图片描述在这里插入图片描述

第三部分:给3台虚拟机配置密钥

1 配置密钥文件(三台虚拟机都要操作)

1.1 生成密钥文件，红色箭头处需要再敲一次空格键
在这里插入图片描述1.2 查看生成的文件，id_rsa , id_rsa.pub
在这里插入图片描述在另外两台子机上重复1.1和1.2

2 创建authorized_keys 文件(三台虚拟机都要操作,这里采用xftp6完成)

2.1 创建文件
在这里插入图片描述2.2 查看是否创建
在这里插入图片描述2.3 将三台虚拟机的id_rsa.pub内容全部保存至mater的authorized_keys文件内
三台心机的id_rsa.pub分别是
在这里插入图片描述在这里插入图片描述在这里插入图片描述将上面的三个内容全部保存至authorized_keys
在这里插入图片描述

3 将authorized_keys复制到另外两个子机中，（此处的复制通过xftp6完成）,如图在这里插入图片描述

3.1 下载本地桌面，直接拖拽即可
在这里插入图片描述3.2 登陆另外两台子机，还没有authorized_keys
在这里插入图片描述3.3 将2.4.1拖到桌面上的authorized_keys拖到另外两台子机的对于文件目录下,即可完成复制工作
在这里插入图片描述在这里插入图片描述

4 测试ssh无密码登陆

4.1 测试slave1，将图片得slave改成slave1
在这里插入图片描述
4.2 exit 退出(必须退出,否正其余的操作实在别的虚拟机上)
在这里插入图片描述4.3 测试slave2
在这里插入图片描述4.4 exit 退出(必须退出,否则其余的操作都是在别的虚拟机上进行的)
在这里插入图片描述

第四部分：安装Hadoop

此处已经不需要安装JDK了,因为克隆时候主机已经安装JDK，所以三台虚拟机已经有JDK了

1 安装hadoop

1.1 新建hadoo文件夹(三台虚拟机都需要新建hadoop文件夹)
在这里插入图片描述1.2 把下载好的Hadoop依次拖进三台虚拟机的/usr/hadoop文件夹里
在这里插入图片描述1.3 分别在三台虚拟机对应的hadoop文件夹下压缩Hadoop文件(三台虚拟机都需要操作)
cd /usr/hadoop 切换到制定目录
tar -zxvf hadoop-2.7.3 解压文件
查看如下图:

在这里插入图片描述在另外两台子机上进行如上操作

2 新建几个文件夹(只在master上操作即可)在这里插入图片描述

3 修改Hadoop配置文件(只在master上操作即可，除了3.2三台虚拟机都要操作）

修改etc/hadoop目录下部分文件
在这里插入图片描述3.1 修改core-site.xml，在节点内加入配置(通过vim > i > 输入内容 > esc > :wq ,)

路径: /usr/hadoop/hadoop-2.7.3/etc/hadoop/core-site.xml
在这里插入图片描述

 <property>
        <name>hadoop.tmp.dir</name>
        <value>/root/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
   </property>
   <property>
        <name>fs.default.name</name>
        <value>hdfs://master:9000</value>
   </property>

3.2 修改hadoop-env.sh(三台都需要操作)
路径: /usr/hadoop/hadoop-2.7.3/etc/hadoop/hadoop-env.sh
将export JAVA_HOME=${JAVA_HOME}改成下面的红框jdk路径(这个jdk路径就是之前安装jdk的路径),老师安装得jdk路径为/export/servers/jdk
在这里插入图片描述3.3 修改hdfs-site.xml，在节点内加入配置(通过vim > i > 输入内容 > esc > :wq ,)

路径: /usr/hadoop/hadoop-2.7.3/etc/hadoop/hdfs-site.xml

<property>
   <name>dfs.name.dir</name>
   <value>/root/hadoop/dfs/name</value>
   <description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description>
</property>
<property>
   <name>dfs.data.dir</name>
   <value>/root/hadoop/dfs/data</value>
   <description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description>
</property>
<property>
   <name>dfs.replication</name>
   <value>2</value>
</property>
 
<property>
      <name>dfs.permissions</name>
      <value>true</value>
      <description>need not permissions</description>
</property>

3.4 新建并且修改mapred-site.xml，在节点内加入配置(通过vim > i > 输入内容 > esc > :wq ,),原来没有mapred-site.xml，这个是自己新建得
路径: /usr/hadoop/hadoop-2.7.3/etc/hadoop/mapred-site.xml.template
在这里插入图片描述

 <property>
  
 <name>mapred.job.tracker</name>
  
 <value>master:49001</value>
</property>
<property>
      <name>mapred.local.dir</name>
       <value>/root/hadoop/var</value>
</property>
 
<property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
</property>

3.5 修改slaves(通过vim > i > 输入内容 > esc > :wq ,)
路径: /usr/hadoop/hadoop-2.7.3/etc/hadoop/slaves文件，将里面的localhost删除，添加如下内容：将图片里得slave,slave1,换成自己得slave1,slave2
在这里插入图片描述3.6 修改yarn-site.xml文件，在节点内加入配置(通过vim > i > 输入内容 > esc > :wq ,)

路径: /usr/hadoop/hadoop-2.7.3/etc/hadoop/yarn-site.xml

<property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
   </property>
   <property>
        <description>The address of the applications manager interface in the RM.</description>
        <name>yarn.resourcemanager.address</name>
        <value>${yarn.resourcemanager.hostname}:8032</value>
   </property>
   <property>
        <description>The address of the scheduler interface.</description>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>${yarn.resourcemanager.hostname}:8030</value>
   </property>
   <property>
        <description>The http address of the RM web application.</description>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>${yarn.resourcemanager.hostname}:8088</value>
   </property>
   <property>
        <description>The https adddress of the RM web application.</description>
        <name>yarn.resourcemanager.webapp.https.address</name>
        <value>${yarn.resourcemanager.hostname}:8090</value>
   </property>
   <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>${yarn.resourcemanager.hostname}:8031</value>
   </property>
   <property>
        <description>The address of the RM admin interface.</description>
        <name>yarn.resourcemanager.admin.address</name>
        <value>${yarn.resourcemanager.hostname}:8033</value>
   </property>
   <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
   </property>
   <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>2048</value>
        <discription>每个节点可用内存,单位MB,默认8182MB</discription>
   </property>
   <property>
        <name>yarn.nodemanager.vmem-pmem-ratio</name>
        <value>2.1</value>
   </property>
   <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>2048</value>
</property>
 
   <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
</property>

第五部分:启动Hadoop

1 初始化
进入到master这台机器的/usr/hadoop/hadoop-2.7.3/bin目录
cd /usr/hadoop/hadoop-2.7.3/bin 切换到指定目录
./hadoop namenode -format 执行命令
在这里插入图片描述在这里插入图片描述格式化成功后，可以在看到在/root/hadoop/dfs/name/目录多了一个current目录，而且该目录内有一系列文件

在这里插入图片描述2 启动hadoop
进入到master这台机器的/usr/hadoop/hadoop-2.7.3/sbin目录，

cd /usr/hadoop/hadoop-2.7.3/sbin 切换到指定目录

./start-all.sh 执行命令
在这里插入图片描述

测试Hadoop

1 执行命令，关闭防火墙，CentOS7下，命令是：
在这里插入图片描述2 在本地浏览器里访问如下地址： http://localhost:50070/ 自动跳转到了overview页面,这里得localhost就是master IP
在这里插入图片描述3 在本地浏览器里访问如下地址： http://localhost:8088/自动跳转到了cluster页面
在这里插入图片描述

基于虚拟机centos7搭建Hadoop集群

Hadoop（二）搭建伪分布式集群

方圆猿
关注
专栏目录
Hadoop（HA）平台搭建从零开始搭建
xiaoxingxingwo的博客
11-18 2517
（1）：网络配置 vim /etc/sysconfig/network-scripts/ifcfg-ens33里面修改# 设置该网络为开机自动启动ONBOOT=yes # 设置采用静态IP模式BOOTPROTO=static #该网络的IP地址，可以使用DHCP获得的IP地址，也可以自行规划IPADDR=192.168.10.111 #该网络的子网掩码NETMAS...
从零开始搭建hadoop集群，详细步骤
happy_linlin的博客
08-19 1753
Linux虚拟机安装 后没有网络 一：首次进入虚拟机输入 二：选择启动后，显示没有网络的配置如下： 三：修改配置 一：修改自己windows系统的网络配置 VMware Network Adapter VMnet8 ipv4 设置为192.168.1.1 子网掩码设置255.255.255.0 二：修改VMware里面的：（工具栏的：编辑——》虚拟网络编辑器）如下图： 跳转到的地方 三：...
从零起步搭建Hadoop单机和伪分布式开发环境图文教程.
01-12
王家林的“云计算分布式大数据Hadoop实战高手之路---从零开始”的第二讲Hadoop图文训练课程：全球最详细（不放过任何一个细节）的从零起步搭建Hadoop单机和伪分布式开发环境图文教程.pdf
从零开始安装Hadoop
oldsummer
05-05 1742
目录 一 新建虚拟机 二 设置固定IP 三 检验 3.1 查看虚拟机能否Ping通我们设置的IP地址 3.2 查看虚拟机能否连通外网 3.3 查看主机能否Ping通我们的虚拟机 四 SSH无密登陆、远程连接、关闭防火墙 五 安装JDK 六 本地模式 6.1 参数配置 6.2 验证 七 伪分布式模式 八 完全分布式模式 8.1 /etc/hadoop/hadoop-env.sh 8.2 /etc/hadoop/yarn-env.sh 8.3 /etc/hadoop/slaves
从零手把手教你搭建Hadoop集群
最新发布
zwl2220943286的博客
08-27 1141
从零手把手教你搭建Hadoop集群
从零开始搭建Hadoop集群
半丶晨曦的博客
05-08 577
给
从零开始Hadoop安装和配置（超详细图文步骤）
2301_77836489的博客
04-25 1万+
从零开始Hadoop安装和配置（超详细图文步骤）
从零开始搭建hadoop集群 视频 # 谭子
02-06
大数据课程入门，使用Vm虚拟机搭建hadoop集群，用到的系统是centOS6.8，该视频同步了如何安装虚拟机、修改虚拟网卡、配置ssh环境、配置JDK1.8及hadoop2.7.4。视频时长一小时半，当然也可以看另外一条链接：...
从零开始搭建Hadoop2
06-29
### 从零开始搭建Hadoop2 分布式集群 #### 概述 本文档旨在详细介绍如何从零开始搭建Hadoop2.7.1的分布式集群。Hadoop是一种能够处理大量数据的大规模分布式存储与处理框架，它通过提供高可靠性、高性能、可扩展性...
简明教程：从零开始搭建Hadoop集群
Hadoop集群搭建是一项涉及多个步骤和技术的复杂任务，从基础的虚拟机配置到高级的分布式系统配置，都需要深入理解。这篇文章提供了一个简洁但全面的指南，适合初学者入门或有经验的开发者进一步优化他们的Hadoop环境...
全球最详细的从零起步搭建Hadoop单机和伪分布式开发环境图文教程
06-19
本文从零起步构建Hadoop单机版本和伪分布式的开发环境，涉及： 1， 开发Hadoop需要的基本软件； 2， 安装每个软件； 3， 配置Hadoop单机模式并运行Wordcount示例； 4， 配置Hadoop伪分布式模式并运行Wordcount示例；
从零开始Hadoop安装和配置，图文手把手教你，定位错误（已部署成功）
热门推荐
小唐同学超级呆的博客
10-06 4万+
写了近一万字，所有的步骤基本都有图，Vmware、centos、jdk、Hadoop以及需要用到的工具里面全有。小唐初学Hadoop学了一个月，也配置了一个月，基本上所有可以踩的坑和不可以踩的都遇到了，当自己配置完成之后，又去重新配置了一遍，已经实现了
从零开始搭建Hadoop环境
老胡的那点破事
06-15 578
[本文仅供备忘，看客可自行忽略] 虚拟机准备 由于没有测试机，只能使用虚拟机。 1、下载虚拟机工具并安装，老胡使用VMware Workstation，版本为10.0.2； 2、下载操作系统，老胡选择的是CentOS，版本为6.5，下载地址为：http://mirrors.usc.edu/pub/linux/distributions/centos/6.5/isos/    ，根据自己的计
从零开始搭建Hadoop框架(单机模式)
C_FuL的博客
01-05 660
准备工作 Master和Slave1中都要安装Hadoop，在这我们以Master为例，Slave1类似 1).Hadoop 简介 Hadoop是一个开源的可运行于大规模集群上的分布式并行编程框架，其最核心的设计包括：MapReduce 和 HDFS。基于 Hadoop,你可以轻松地编写可处理海量数据的分布式并行程序，并将其运行于由成百上千个结点组成的大规模计算机集群上。 HDFS：Had
从零开始搭建hadoop集群
wx740851326的博客
11-05 688
创作不易，请勿抄袭，转载请注明出处。如有疑问，请加微信 wx15151889890，谢谢。 [本文链接:]https://blog.csdn.net/wx740851326/article/details/https://blog.csdn.net/wx740851326/article/details/83744662 本文主要记叙了如何在centos7.2上搭建cdh平台，使用mysql为元数...
超简单，从零搭建hadoop(完全分布式centos7+hadoop3.2.0)
qq_40343117的博客
08-18 576
（三）hadoop搭建 一、关闭防火墙 输入 systemctl stop direwalld // 停止防火墙 systemctl disable firewalld //禁止防火墙开机启动 firewalld-cmd --state //查看防火墙状态 输入vi /etc/selinux/config将SELINUX设置为disabled 二、配置 hostname 1、配置host...
Hadoop入门·从零搭建hadoop集群
empyan的博客
02-10 2700
    首先先介绍下集群。就是现在是大数据时代嘛。生活中每天无时无刻都在产生着海量数据，这些数据都是很有价值的，比如分析用户数据可以掌握用户喜好，进行针对推荐之类，医学上分析病人数据可以训练机器人学会看病。那么庞大的数据量用一台机子去计算，无论你的配置有多好，都跟不上撑不住。所以一个任务要有多台机子一起完成，一个任务由多台机子进行计算。这些机子就组成一个集群。而Hadoop中的HDFS模块，也就...
hadoop学习笔记：从零开始搭建hadoop集群（完全分布式）
wzx0z的专栏
12-23 511
在VM虚拟机上搭建三台主机的简单hadoop集群的教程。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值