Hadoop2.8.5 安装过程

最新推荐文章于 2024-09-22 20:08:28 发布
最新推荐文章于 2024-09-22 20:08:28 发布
阅读量5.3k 收藏 10
点赞数 1
分类专栏： hadoop Hadoop集群搭建
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Source_00/article/details/83031688
版权

1 下载hadoop

安装版本：CentOS7 Hadoop2.8.5 JDK1.8
说明：Hadoop从版本2开始加入了Yarn这个资源管理器，Yarn并不需要单独安装。只要在机器上安装了JDK就可以直接安装Hadoop，单纯安装Hadoop并不依赖Zookeeper之类的其他东西。
下载Hadoop：http://www-eu.apache.org/dist/hadoop/common/hadoop-2.8.5/ hadoop-2.8.5.tar.gz
在这里插入图片描述

2 安装3个虚拟机并实现ssh免密码登录

2.1安装3个机器
这里用的Linux系统是CentOS7，安装方法参考：
安装6个机器，机器名称分别叫master、slaver1、slaver2、slaver3、slaver4、slaver5。
说明：为了免去后面一系列授权的麻烦，这里直接使用root账户登录和操作了。

修改各节点的IP，我的机器名和ip的对应关系是:

vim /etc/sysconfig/network-scripts/ifcfg-ens33

配置如下图：master的IP地址设置，其中网关和DNS每个节点都一样
在这里插入图片描述
修改其中的IPADDR，各自的IP地址分别为

mastaer 192.168.144.130
slaver1 192.168.144.131
slaver2 192.168.144.132
slaver3 192.168.144.133
slaver4 192.168.144.134
slaver5 192.168.144.135

保存退出后重启网络服务

systemctl restart network

使用ifconfig命令，查看这6个机器的IP。
在这里插入图片描述

2.2 修改主机名
永久修改

hostnamectl set-hostname master

或者编辑配置文件/etc/hostname，在此文件中输入要修改的主机名

vim /etc/hostname

如图为master的/etc/hostname文件内容
在这里插入图片描述

2.3修改/etc/hosts文件

vim /etc/hosts

打开之后的内容是：

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6

然后在后面添加

192.168.144.130 master
192.168.144.131 slaver1
192.168.144.132 slaver2
192.168.144.133 slaver3
192.168.144.134 slaver4
192.168.144.135 slaver5

每个节点都一样的配置，如下为master的/etc/hosts配置
在这里插入图片描述
2.4 关闭防火墙

查看状态：
systemctl status firewalld

停止：

 systemctl disable firewalld

禁用：

 systemctl stop firewalld

在开机时禁用一个服务：

systemctl disable firewalld.service

关闭以后查看状态：
在这里插入图片描述

2.5 ssh免密登陆
每个机器上都生成密码对

ssh-keygen –t rsa

生成其无密码密钥对，一路回车键，生成的密钥对：id_rsa和id_rsa.pub，默认存储在"/home/hadoop/.ssh"目录

接下来要做的事情是在6台机器的/root/.ssh/目录下都存入一个内容相同的文件，文件名称叫authorized_keys，文件内容是我们刚才为6台机器生成的公钥。

为了方便，我下面的步骤是现在master上生成authorized_keys文件，然后把6台机器刚才生成的公钥加入到这个master的authorized_keys文件里，然后在将这个authorized_keys文件复制到其他节点上。

touch  /root/.ssh/authorized_keys

把id_rsa.pub追加到授权的key里面去：

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

再将其余节点的key加进去，之后是这样的：
在这里插入图片描述
修改文件"authorized_keys"权限，这步骤很重要，很多莫名其妙的错误有可能就是权限的问题

chmod 600 ~/.ssh/authorized_keys

master/root/.ssh/目录下已经有authorized_keys这个文件了，该文件的内容也已经OK了，接下来要将该文件复制到其他节点的/root/.ssh/

scp ~/.ssh/authorized_keys slave1:~/.ssh/ 
scp ~/.ssh/authorized_keys slave2:~/.ssh/
scp ~/.ssh/authorized_keys slave3:~/.ssh/
scp ~/.ssh/authorized_keys slave4:~/.ssh/
scp ~/.ssh/authorized_keys slave5:~/.ssh/

测试一下各个节点之间是否可以互相免密登录

ssh slaver1
ssh slaver2

在这里插入图片描述

3 安装jdk和hadoop

3.1 安装JDK
在每一个节点上都安装jdk1.8，要将Centos7自带的jdk卸载掉，重新安装（最好安装1.8版本，最初安装最新版JDK_11,但是后续安装spark报错，又换成了JDK1.8）。
3.2 安装hadoop
（1）上载文件并解压缩
上传hadoop-2.8.5.tar.gz到目录/usr/local/hadoop/下，并解压，删除安装包：

tar hadoop-2.8.5.tar.gz
rm -rf hadoop-2.8.5.tar.gz

(2) 新建几个目录

cd /usr/local/hadoop/hadoop-2.8.5/
mkdir tmp
mkdir hdfs
mkdir hdfs/name
mkdir hdfs/data

(3) 修改etc/hadoop中的一系列配置文件

cd /usr/local/hadoop/hadoop-2.8.5/etc/hadoop

vim hadoop-env.sh

修改JAVA安装路径

export JAVA_HOME=/usr/local/jdk/jdk1.8.0_181

在这里插入图片描述

  • 修改core-site.xml
<configuration>
<!--配置hdfs文件系统的命名空间-->
  <property>
  <name>fs.defaultFS</name>
 <value>hdfs://master:9000</value>
  </property>
<!-- 配置操作hdfs的存冲大小 -->
  <property>
  <name>io.file.buffer.size</name>
 <value>4096</value>
  </property>
<!-- 配置临时数据存储目录 -->
  <property>
  <name>hadoop.tmp.dir</name>
  <value>/usr/local/hadoop/hadoop-2.8.5/tmp</value>
  </property>
</configuration>

在这里插入图片描述

  • 修改hdfs-site.xml
<configuration>

<!--配置副本数-->
  <property>
  <name>dfs.replication</name>
  <value>3</value>
  </property>
<!--hdfs的元数据存储位置-->
  <property>
  <name>dfs.namenode.name.dir</name>
  <value>/usr/local/hadoop/hadoop-2.8.5/hdfs/name</value>
 </property>
<!--hdfs的数据存储位置-->
 <property>
  <name>dfs.datanode.data.dir</name>
  <value>/usr/local/hadoop/hadoop-2.8.5/hdfs/data</value>
 </property>
<!--hdfs的namenode的web ui 地址-->
 <property>
  <name>dfs.http.address</name>
 <value>master:50070</value>
  </property>
<!--hdfs的snn的web ui 地址-->
  <property>
 <name>dfs.secondary.http.address</name>
  <value>master:50090</value>
  </property>
<!--是否开启web操作hdfs-->
 <property>
  <name>dfs.webhdfs.enabled</name>
 <value>true</value>
  </property>
<!--是否启用hdfs权限（acl）-->
  <property>
  <name>dfs.permissions</name>
  <value>false</value>
  </property>
</configuration>
  • 新建并且修改mapred-site.xml
cp   mapred-site.xml.template     mapred-site.xml
vim mapred-site.xml

<configuration>
<!--指定maoreduce运行框架-->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
<!--历史服务的通信地址-->
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>master:10020</value>
    </property>
<!--历史服务的web ui地址-->
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>master:19888</value>
    </property>
</configuration>
  • 修改slaves文件
vim slaves

内容为：

master
slaver1
slaver2
slaver3
slaver4
slaver5
  • 修改yarn-site.xml文件
vim yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
<!--指定resourcemanager所启动的服务器主机名-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
    </property>
<!--指定mapreduce的shuffle-->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
<!--指定resourcemanager的内部通讯地址-->
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>master:8032</value>
    </property>
<!--指定scheduler的内部通讯地址-->
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>master:8030</value>
    </property>
<!--指定resource-tracker的内部通讯地址-->
 <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>master:8031</value>
    </property>
<!--指定resourcemanager.admin的内部通讯地址-->
    <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>master:8033</value>
    </property>
<!--指定resourcemanager.webapp的ui监控地址-->
<property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>master:8088</value>
    </property>
</configuration>

3.3 分发配置
每一个节点都要进行Hadoop的安装，在master上安装好以后分发给其他节点

cd /usr/local
scp hadoop slaver1:/usr/local/
scp hadoop slaver2:/usr/local/
scp hadoop slaver3:/usr/local/
scp hadoop slaver4:/usr/local/
scp hadoop slaver5:/usr/local/

并分别配置每个节点的/etc/profile文件

4 启动hadoop

4.1 在namenode上执行初始化
因为master是namenode，其余都是datanode，所以只需要对master进行初始化操作，也就是对hdfs进行格式化。
进入到master这台机器的/usr/local/hadoop/hadoop-2.8.5/bin目录

./hdfs  namenode  -format

格式化成功后，可以在看到在/usr/local/hadoop/hadoop-2.8.5/hdfs/name/目录多了一个current目录，而且该目录内有一系列文件

4.2 在namenode上执行启动命令
进入到hserver1这台机器的/usr/local/hadoop/hadoop-2.8.5/sbin目录，
执行初始化脚本，也就是执行命令：

 ./start-all.sh

5 测试hadoop

访问 http://192.168.144.130:50070/
记：hdfs文件存储位置
/usr/local/hadoop/hadoop-2.8.5/hdfs/data/current/BP-1236883458-192.168.144.130-1538123110928/current/finalized/subdir0/subdir0
在这里插入图片描述

Source_00
关注
专栏目录
hadoop2.8.5安装配置(伪分布式)
派大星的博客
08-21 590
前提 Hadoop配置
Hadoop-2.8.5全面资料
11-12
包含hadoopbin_for_hadoop2.8.5.zip文件,hadoop-eclipse-plugin-2.8.5.jar文件,hadoop-2.8.5.tar.gz文件,jdk-8u181-linux-x64.tar.gz文件,以及Hadoop伪分布式搭建所需配置文件
hadoop2.8.5@win64
03-06
Hadoop在访问本地文件和hdfs文件系统时，需要使用本地库，本地库中使用了Windows的API来实现类posix的文件访问许可。而这个本地库的实现就是Hadoop.dll和winutils.exe 编译环境： hadoop2.7.7 - hadoop3.1.1 JDK1.7.0_80/JDK1.8.0_181 C# Compiler version 4.7.3062.0 maven 3.6.0 ProtocolBuffer 2.5.0 CMake 3.13.2 VS2010 mingw-w64 x86_64 8.1.0 请加星支持一下： https://github.com/caidaol/hadoopbuild
hadoop 2.8.5安装步骤
weixin_30901729的博客
10-17 294
1、创建hadoop用户,作为haoop的运行用户 2、配置JAVA_HOME环境变量，修改/etc/profile export JAVA_HOME=/usr/java/jdk1.8.0_51 export PATH=${JAVA_HOME}/bin:$PATH 3、配置hadoop用户的PATH环境变量，修改.bash_profile $HOME/hadoop/bin:$HOME/hado...
Hadoop安装
最新发布
cingdy0124的博客
09-22 1423
Hadoop的安装方式有三种，分别是单机模式，伪分布式模式，分布式模式。
【Linux】CentOS 7 安装 hadoop-2.8.5详细过程
hd520superman的博客
11-01 550
参考博客：https://blog.csdn.net/cafebar123/article/details/73500014 前提：已经安装了jdk（可参考：https://blog.csdn.net/hd520superman/article/details/102858061） hadoop-2.8.5资源下载：https://pan.baidu.com/s/1zTQ0mPkro8hJkbr9...
hadoop2.8.5-windows本地开发
04-29
内容概要：windows环境下添加snappy源码，并对2.8.5的apache版本hadoop包进行编译，生成指定的hadoop.dll、snappy.dll文件，方便Windows环境下利用idea工具进行Hadoop、...版本：hadoop2.8.5 压缩支持：snappy、lz4
hadoop-2.8.5.tar.gz
05-22
1. **上传文件**：使用`scp`命令或者通过FTP客户端将解压后的hadoop-2.8.5目录传输到Linux服务器的适当位置，例如`/usr/local`或自定义的安装目录。 2. **设置环境变量**：编辑`~/.bashrc`或`~/.bash_profile`文件...
hadoop2.8.5安装云计算平台搭建
03-28
这个是大三的云计算搭建hadoop平台的作业 ，配合哔哩哔哩的录制视频，希望能帮到大家，之前东西可能过期了，有啥问题直接私信，看到必回。
hadoop2.8.5
07-10
hadoop2.8.5
Hadoop2.8.5详细安装教程
qq_33750025的博客
06-14 2983
1.环境准备 1.1.环境说明 三台搭载Centos7.0虚拟机（有条件可以准备4台），1个Master和2个Slave。节点和IP地址如下： 机器名称 IP地址 master 192.*.*.101 slave1 192.*.*.102 slave2 192.*.*.103 1.2.网络配置 主机名规划：分别...
hadoop2.8.5集群镜像文件
11-12
关键字：Linux  CentOS  Hadoop  Java   版本：  CentOS7  Hadoop2.8.0  JDK1.8   说明：Hadoop从版本2开始加入了Yarn这个资源管理器，Yarn并不需要单独安装。只要在机器上安装了JDK就可以直接安装Hadoop，单纯安装Hadoop并不依赖Zookeeper之类的其他东西。
hadoop-2.8.5winutils.rar
11-28
亲测有效，替换hadoop得bin目录下得所有资源包，把dll包加入到system32里面即可使用。
hadoop-2.8.5所需jar
11-29
在Windows下eclipse运行java程序，报错原因是没有添加正确的库，这是hadoop-2.85 所需的jar包。
hadoop-2.8.5编译
11-22
编译hadoop-2.8.5X64
macOS编译hadoop-2.8.5
09-26
mac版本，解决hadoop2.0+安装后无法加载本地库的问题（无法加载native库）主要原因是官网预编译的不支持macOS系统，需要我们自行编译
ubuntu20.04server下安装hadoop2.8.5
m0_67392182的博客
04-11 216
参考Ubuntu下Hadoop安装（全命令行版） 安装环境 项目 名称 版本 电脑硬件 Huwei Matebook X Pro i7-8550U 16G 512G 操作系统 Windows 10 家庭中文版 虚拟机 VMware Workstation 15 Pro 15.0.0 build-10134415 运行系统 ubuntu 20.04 server 20.04 amd64 Java虚拟机 OpenJDK 1.8.0_252-8u252-b09 Hadoop Hadoop 2.8.5 安装步骤
Hadoop3.3.1详细教程（五）Hadoop全分布式搭建
Java朱老师博客
08-23 2286
一、haoop解压、创建软连接 将hadoop-3.3.1.tar.gz上传到服务器~/apps下 tar -xf hadoop-3.3.1.tar.gz -C /usr/local 进入/usr/local 后使用 ln -s hadoop-3.3.1 hadoop3 创建一个软连接 二、配置环境变量 在/etc/profile.d下使用vi命令新建hadoop.sh export HADOOP_HOME=/usr/local/hadoop3 export PATH=$PATH:$HADOO
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值