jdk和hadoop的安装与配置

最新推荐文章于 2024-07-21 19:41:19 发布
最新推荐文章于 2024-07-21 19:41:19 发布
阅读量3.7k 收藏 20
点赞数 2
分类专栏： hadoop 文章标签： 大数据 hadoop java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43853055/article/details/115939976
版权

1 安装jdk1.8和环境准备[必选]

1.1 下载安装jdk

1.1.1 下载jdk

下载jdk1.8版本

点击下载jdk1.8

下载其他版本

点击进入oracle官网

如果提示需要登录，则输入以下账号密码

账号密码来源于网络(2019.7.18)：

账号：liwei@xiaostudy.com

密码：OracleTest1234

1.1.2 安装jdk

上传到linux的/opt/myinstall/目录下解压

tar -zxvf  jdk1.8.0_144.tar.gz

配置环境变量，修改/etc/profile文件

vi /etc/profile

添加以下内容

#java
export JAVA_HOME=/opt/myinstall/jdk1.8.0_144/
export PATH=$JAVA_HOME/bin:$PATH

使环境变量生效

source /etc/profile

输入java -version查看是否安装成功

[root@hadoop89]# java -version
java version "1.8.0_144"
Java(TM) SE Runtime Environment (build 1.8.0_144-b01)
Java HotSpot(TM) 64-Bit Server VM (build 25.144-b01, mixed mode)

1.2 环境准备

1.2.1 修改hostname

需要在三台机器上都执行修改hostname

hadoop90 hadoop91 hadoop92

# 修改hostname
vi /etc/hostname

填入每台机器的hostname后保存

修改hosts文件，可以先修改一台然后复制到其他台机器，hosts文件内容一样，需修改三台

vi /etc/hosts

内容如下

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.86.90 hadoop90
192.168.86.91 hadoop91
192.168.86.92 hadoop92

复制到其他机器, 显示100%则复制成功

scp /etc/hosts root@192.168.86.91:/etc/hosts
scp /etc/hosts root@192.168.86.92:/etc/hosts

重启虚拟机使hostname的修改生效

reboot
1.2.2 关闭防火墙
#关闭防火墙
systemctl stop firewalld				
#设置开机不启动
systemctl disable firewalld.service
#查看防火墙状态
systemctl status firewalld
1.2.3 设置ssh免密

每台机器都需要执行三次ssh-copy-id root@三台机器的ip命令

三台机器都需要做，也需要对自己做免密操作

#执行一次生成密钥，一直回车
ssh-keygen -t rsa
#执行三次对每台机器都执行免密操作
ssh-copy-id root@192.168.86.90

如何查看是否操作成功

#能否连接到其他机器
ssh 其他机器ip
#查看主机名，是否连接到
hostname
#登录后必须退出，要不就会操作连接的其他机器
exit

如何查看密钥?

id_rsa.pub为公钥 ，id_rsa为私钥，authorized_keys中保存了哪儿些机器对自己做了免密操作

cd ~/.ssh/
ll
1.2.4 检查网络是否能够ping通
#ping 其他机器ip
ping 192.168.86.91
1.2.5 自定义软件安装路径

软件安装路径, 路径自定义,我的路径为/opt/myinstall

#创建软件安装路径
cd /opt/
mkdir /myinstall

2 安装Hadoop2.7.3完全分布式集群

以下操作所使用用户均为root ， 如真实项目中建议创建hadoop用户操作

2.1 准备工作

准备三台已经安装了CentOS7系统的虚拟机，分别是hadoop90，hadoop91，hadoop92

三台虚拟机配置如下(可适当增加hadoop91主节点的内存或减少从节点的内存，磁盘空间最少50G)

主机名称ip机器配置jdk版本角色
hadoop90192.168.86.902G内存，2CPU 50G磁盘jdk1.8主节点/从节点
hadoop91192.168.86.912G内存，2CPU 50G磁盘jdk1.8从节点
hadoop92192.168.86.922G内存，2CPU 50G磁盘jdk1.8从节点

2.2 hadoop2.7.3下载

hadoop2.7.3官网下载

hadoop2.7.3百度网盘下载 提取码：g2io

hadoop其他版本下载 下载以tar.gz 结尾的文件

2.3 大概安装步骤

已安装jdk，已准备好集群所需机器

上传解压hadoop-2.7.3.tar.gz到三台机器,配置hadoop环境变量

关闭防火墙、设置ssh免密

修改hostname和hosts文件

修改三台机器$HADOOP_HOME/etc/hadoop/conf下的配置文件，根据部署的模式和需要进行配置hadoop-env.sh、core-site.xml、mapre-site.xml、hdfs-site.xml文件

在主节点机器格式化namenode，对数据缓存的的路径进行格式化  hadoop namenode -format

在主节点机器启动hadoop进程 start-dfs.sh

2.4 具体安装步骤

2.4.1 所需的软件

必须安装Java™。

如果要使用可选的启动和停止脚本，则必须安装ssh并且必须运行sshd才能使用管理远程Hadoop守护程序的Hadoop脚本。另外，建议也安装pdsh以便更好地进行ssh资源管理，可以不安装pdsh。

如何查看是否安装ssh

rpm -qa | grep ssh或service sshd status 出现以下页面即安装成成功

2.4.2 解压hadoop并配置环境变量

先上传到一台机器(主节点机器hadoop90)， 配置好各种配置文件后再使用scp复制hadoop文件到其他机器，再修改slaves文件

上传到linux的/opt/myinstall/目录下解压

tar -zxvf hadoop-2.7.3.tar.gz

配置环境变量，修改/etc/profile文件

vi /etc/profile

添加以下内容

#hadoop
export HADOOP_HOME=/opt/myinstall/hadoop-2.7.3
export PATH=$HADOOP_HOME/bin:$PATH

使环境变量生效

source /etc/profile

查看环境变量是否配置成功

hadoop version

[root@hadoop90 .ssh]#  hadoop version
Hadoop 2.7.3
Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r baa91f7c6bc9cb92be5982de4719c1c8af91ccff
Compiled by root on 2016-08-18T01:41Z
Compiled with protoc 2.5.0
2.4.3 [建议]修改hadoop-env.sh配置文件
vi $HADOOP_HOME/etc/hadoop/hadoop-env.sh

修改export JAVA_HOME为绝对路径

export JAVA_HOME=/opt/myinstall/jdk1.8.0_144
2.4.4 修改core-site.xml配置文件

创建文件目录tmp

cd /opt/myinstall/hadoop-2.7.3
mkdir tmp

修改core-site.sh配置文件

vi $HADOOP_HOME/etc/hadoop/core-site.xml

添加以下内容

<configuration>
	<!--- 默认文件系统的名称，集群入口 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop90:9000</value>
    </property>
    <!--- 其他临时目录的基本目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/myinstall/hadoop-2.7.3/tmp</value>
    </property>
</configuration>
2.4.5 修改mapre-site.xml配置文件

复制并改名，修改mapre-site.xml文件

cp $HADOOP_HOME/etc/hadoop/mapred-site.xml.template mapred-site.xml
vi $HADOOP_HOME/etc/hadoop/mapred-site.xml

添加以下内容

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>
2.4.6 修改hdfs-site.xml配置文件

创建文件目录dfs name data

cd /opt/myinstall/hadoop-2.7.3
mkdir dfs
cd dfs
mkdir name
mkdir data

修改hdfs-site.xml文件

vi $HADOOP_HOME/etc/hadoop/hdfs-site.xml

添加以下内容

<configuration>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/opt/myinstall/hadoop-2.7.3/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/opt/myinstall/hadoop-2.7.3/dfs/data</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.http-address</name>
        <value>hadoop90:50070</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop90:50090</value>
    </property>
</configuration>
2.4.7 修改yarn-site.xml文件

修改hdfs-site.xml文件

vi $HADOOP_HOME/etc/hadoop/yarn-site.xml

添加以下内容

<configuration>

<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop90</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>
2.4.8 修改slaves文件

该文件决定有哪儿些机器为datanode机器

vi $HADOOP_HOME/etc/hadoop/slaves

将localhost改为以下内容

hadoop90
hadoop91
hadoop92
2.4.9 复制文件到其他机器

将修改好配置的hadoop文件目录复制到hadoop91和hadoop92上，文件很大传输需要一定时间。

scp -r /opt/myinstall/hadoop-2.7.3/ root@192.168.86.91:/opt/myinstall/hadoop-2.7.3/
scp -r /opt/myinstall/hadoop-2.7.3/ root@192.168.86.92:/opt/myinstall/hadoop-2.7.3/

将/etc/profile文件复制到hadoop91和hadoop92上

scp /etc/profile root@192.168.86.91:/etc/profile
scp /etc/profile root@192.168.86.92:/etc/profile

在每台机器上执行以下命令使修改生效

source /etc/profile
2.4.10 初始化namenode

只在主节点机器hadoop90执行命令, 初始化不建议执行多次会出问题

hadoop namenode -format
2.4.11 启动集群

只在主节点机器hadoop90执行命令

sh $HADOOP_HOME/sbin/start-all.sh

第一次有如下提示，输入yes，等待时间可能会有些久

Are you sure you want to continue connecting (yes/no)? yes

或者执行 sh $HADOOP_HOME/sbin/start-dfs.sh和sh $HADOOP_HOME/sbin/start-yarn.sh启动集群

2.4.12 关闭集群

只在主节点机器hadoop90执行命令

sh $HADOOP_HOME/sbin/stop-all.sh

或者执行sh $HADOOP_HOME/sbin/stop-dfs.sh和sh $HADOOP_HOME/sbin/stop-yarn.sh 关闭集群

2.4.13 访问web页面

HDFS的NameNode的web页面： 192.168.86.90:50070

yarn web页面：192.168.86.90:8088

SecondaryNameNode的web页面: 192.168.86.90:50090

2.4.14 查看进程
#查看java进程
jps
主机名称ip安装软件运行进程
hadoop90（主/从节点）192.168.86.90hadoop，jdk4002 NameNode
4104 DataNode
4444 ResourceManager
4556 NodeManager
4989 Jps
4270 SecondaryNameNode
hadoop91（从节点）192.168.86.91hadoop，jdk2625 DataNode
2874 Jps
2732 NodeManager
hadoop92（从节点）192.168.86.92hadoop，jdk2805 Jps
2662 NodeManager
2555 DataNode
#查看集群健康状态报告
hdfs dfsadmin -report

[root@hadoop90 logs]# hdfs dfsadmin -report
Configured Capacity: 144881233920 (134.93 GB)
Present Capacity: 137852424192 (128.39 GB)
DFS Remaining: 137852391424 (128.39 GB)
DFS Used: 32768 (32 KB)
DFS Used%: 0.00%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0
Missing blocks (with replication factor 1): 0

-------------------------------------------------
Live datanodes (3):
.......
2.5.15 windows配置主机名和ip映射

在windows找到hosts文件，配置ip主机名映射

C:\Windows\System32\drivers\etc

修改hosts文件，在下面空白处添加以下内容并保存

192.168.86.89 hadoop89
192.168.86.90 hadoop90
192.168.86.91 hadoop91
192.168.86.92 hadoop92
2.5.16 拓展

如何不知道配置文件中参数的用处怎么办？

进入Apache Hadoop官网，点击Getting started ，下拉找到下图内容了解相关配置

idataduck
关注
专栏目录
Hadoop安装与配置详细教程
王佳斌
04-27 16万+
【确保服务器集群安装和配置已经完成！】 前言 请根据读者的自身情况，进行相应随机应变。 我的三台CentOS7服务器： 主机：master（192.168.56.110） 从机：slave0（192.168.56.111） 从机：slave1（192.168.56.112） 每一个节点的安装与配置是相同的，在实际工作中，通常在master节点上完成安装和配置后，然后将安装目录复制到其他节点就可以，...
【Linux环境下安装配置JDK和HADOOP】
m0_64016142的博客
03-22 3715
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 前言 一、pandas是什么？ 二、使用步骤 1.引入库 2.读入数据 总结 前言 工欲善其事，必先利其器，对于刚学数仓的人来说，安装配置hadoop是比较困难的，今天给大家来一期关于在Linux的环境下安装hadoop和jdk。 提示：以下是本篇文章正文内容，下面案例可供参考 一、什么是hadoop？ hadoop是由Apche基金会所开发的分布...
hadoop集群搭建——JDK的安装
01-21
在VMware上部署hadoop集群，首先需要安装jdk。 掌握在完全分布的整合平台中快捷的进行JDK的安装 (1)完全分布模式中JDK的安装和验证； (2)在集群中所有主机上完成JDK的安装； 所有主机上JDK相关命令能够正常使用
Hadoop安装(一) --- JDK安装
qq_57151931的博客
02-04 3050
安装hadoop（一） --- JDK安装
大数据应用之Hadoop环境安装与配置完全解析
sinat_30844883的博客
07-21 1367
Hadoop是apache公司开源的一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。它具有高可靠、高扩展、高效与高容错等特点，是大数据分析与应用的必备技术。
Hadoop集群搭建（三）——JDK和Hadoop的安装和环境配置
小袁同学的博客
11-10 5647
上次我们介绍了一些基本的配置操作，接下来我们讲解如何配置安装JDK和Hadoop
liunx上 jdk 和hadoop的安装以及配置
陈柱的博客
05-23 1645
这篇文章我们将要来安装jdk和hadoop  上一篇文章中我们已经能够ping通虚拟机 这个时候我们用 xshell 以及ftp上传jdk和hadoop 到centos7上面（如果有其他途径能够copy到虚拟机上也可以，这里自行百度如何文件共享copy）点击文件新建会话输入你的centos7 的ip点击确定连接即可 点击ftp将文件双击从你电脑上的目录到你centos7上的目录上传上去。然后再打开...
Hadoop系列之（二）JDK和Hadoop安装配置
triumphao的博客
11-21 3024
配置jdk和hadoop的原则为，先将Master安装并且配置好，然后再统一将其发送给所有的Slave，Slave如果需要单独配置则单独改变。 1.JDK安装配置 之前在有篇博客是搭建apache tomcat + nutch + solr的已经讲过jdk的详细搭建，此次在这里采用第一种搭建方式，即在/etc/profile里进行环境变量的配置。 1).JDK解压安装 我所
linux下载，安装，JDK配置，hadoop安装
07-06
通过本文的介绍，读者应该对 Linux 的安装与配置、JDK 的安装与环境配置以及 Hadoop 的安装有了较为全面的理解。在大数据处理领域，Hadoop 与 Spark 的选择应基于具体的业务需求和技术栈。未来，随着技术的发展，...
009.CentOS下JDK与Hadoop安装配置.pptx
01-19
009.CentOS下JDK与Hadoop安装配置.pptx！！
hadoop安装与配置.docx
最新发布
09-18
Hadoop的安装与配置是一个相对复杂但结构化的过程，主要涉及环境准备、软件安装、配置调整以及集群启动等多个步骤。以下是一个详细的Hadoop安装与配置指南： 一、环境准备 硬件与软件要求 硬件：Hadoop集群至少需要...
Hadoop之jdk的安装
weixin_45256098的博客
06-04 1352
【实验目的】 1.安装配置JDK 1.五台独立PC机或虚拟机主机之间有有效的网络连接 2.每台主机内存2G以上，磁盘剩余空间500M以上所有主机上已安装CentOS 7.4操作系统 3.所有主机已完成网络属性配置 1.卸载原有JDK 该项的所有操作步骤需要使用root用户进行。并且在集群中每台主机操作一次，发现没有，不必卸载 因为我的查看没有jdk，所以不需要卸载原有的，只需直接安装即可。 2. 安装 此项的所有操作步骤使用专门用于集群的用户admin进行，此项只在一台主机操作 首先，我们先新建一个存放H
hadoop搭建之jdk安装
To-nemy
10-22 613
-----   安装jdk；          目前的集群中包括4个节点：一个主节点，3个从节点，节点之间局域王连杰，可以互相通信，节点的ip地址分布如下： 节点ip分布 节点   机器分布  ip地址 主节点 master.hadoop 172.21.3.73 从节点 Slave1.Hadoop Slave
Hadoop集群JDK安装
m0_46238032的博客
04-08 1824
一、实验的目的和要求： 掌握在完全分布模式的整合平台中快捷的进行JDK的安装和验证； 在集群中所有主机上完成JDK安装； 所有主机上JDK相关命令能够正常使用。 二、实验的环境： 1、五台独立的虚拟机； 2、主机之间有效的网络连接； 3、所有主机已完成网络属性配置； 三、实验步骤： 1、卸载原有JDK； 注：所有操作需要使用root用户进行，并且在集群中每台主机操作一次。 #rpm –qa | grep java #rpm –qa | grp jdk #rpm
Hadoop学习之安装JDK
TulieCS的博客
06-25 257
安装JDK 1.用Xftp工具将JDK导入到opt目录下面的software文件夹下面 2.在Linux系统下的opt目录中查看软件包是否导入成功 cd software/ ls hadoop-2.7.2.tar.gz jdk-8u144-linux-x64.tar.gz 3.卸载现有JDK (1）查询是否安装Java软件： rpm -qa | grep java (2)如果有，卸载 rpm -qa | grep java | xargs sudo rpm -e --nodeps 4.解压JDK到/opt
hadoop安装（一、JDK）
cp1002327672的博客
02-01 224
hadoop安装（一、JDK）
hadoop学习——安装JDK
LiQingBB的博客
04-05 303
解压缩 将压缩包解压，建议将所有的软件存在一个目录下。 因为我是用root用户直接操作的，所以直接创建一个app文件夹，然后将JDK解压到该文件夹中。 cd /root mkdir app tar -zxvf jdk的路径 -C /root/app(需要安装的路径) 配置JDK 此时JDK的路径为： /root/app/jdk1.8.0_91 将JDK的路径保存到系统的环境变量...
hadoop安装/JDK安装
码农的世界你们不懂
09-29 755
1. 准备三台机器 修改host的namevim /etc/hosts 192.168.119.144 hadoop1 192.168.119.145 hadoop2 192.168.119.146 hadoop3 2.安装jdk解压jdk到指定的文件夹 重命名文件夹 mv 原文件夹的名字 新文件夹的名字 配置文件 vim /etc/profileJAVA_HOME=/usr/l
（实验二）Hadoop之JDK安装
qq_41112933的博客
06-17 855
Hadoop之JDK安装 实验目的和要求实验环境软件版本集群规划实验步骤1、 卸载原有JDK2、安装配置JDK2.1安装2.1.1首先，我们先新建一个存放Hadoop软件包的文件夹setups2.1.2然后把所有相关包上传到setups目录内2.1.3查看jdk是否上传成功2.1.4 在家目录下创建用于存放JDK相关文件的目录“java”，并将软件包解压到“java”目录下2.2配置环境变量2.2.1对配置文件.bash_profile进行修改，在文件末尾添加以下内容2.2.2使新配置的环境变量立即生效,并
Ubuntu上JDK与Hadoop的安装与配置教程
这份教程提供了一个基本的Ubuntu系统上安装和配置JDK与Hadoop的流程，适合初学者或需要在Ubuntu环境下进行大数据处理的开发人员参考。注意，实际操作时应根据当前系统的实际情况和个人需求调整参数和步骤。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值