Linux(centOS7) 安装Hadoop+JDK(详细教程)

已于 2024-09-13 09:52:06 修改
阅读量928 收藏 29
点赞数 20
分类专栏： 安装流程 文章标签： linux hadoop java
于 2024-09-13 09:48:22 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/FlyJune/article/details/142186560
版权

目录

准备：

1.centOS安装：http://t.csdnimg.cn/WQvBz

2.以下内容是参考了很多的文章：http://t.csdnimg.cn/YrfAU  

一：安装jdk 

1.执行以下命令，下载JDK1.8安装包。

2.执行以下命令，解压下载的JDK1.8安装包。

3.移动并重命名JDK包。

4.配置Java环境变量。

5.查看Java是否成功安装。

二：Hadoop的安装流程

1.下载Hadoop安装包--- 在根目录下下载 “/”

2.解压Hadoop安装包解压到 /app  ---在/app路径下进行

 3.配置Hadoop环境

1.设置SSH免密登录

2.hadoop-env.sh 配置

3.yarn-env.sh 配置

4.core-site.xml配置

5.hdfs-site.xml文件配置

6.yarn-site.xml配置

7.创建文件夹

7.验证

7.1格式化

（若是出现问题不成功或没出现上图，很有可能是环境变量出现问题！----重装centOS系统！）

7.2启动Hadoop

7.3 start-dfs.sh，stop-dfs.sh 两个文件顶部添加以下参数

7.4 start-yarn.sh，stop-yarn.sh  顶部也需添加以下：

7.5 再次启动start-dfs.sh，最后输入命令 jps 验证

7.6 验证 http://localhost:9870/

准备：

1.centOS安装：http://t.csdnimg.cn/WQvBz

2.以下内容是参考了很多的文章：http://t.csdnimg.cn/YrfAU  

一：安装jdk 

1.执行以下命令，下载JDK1.8安装包。

wget --no-check-certificate https://repo.huaweicloud.com/java/jdk/8u151-b12/jdk-8u151-linux-x64.tar.gz

2.执行以下命令，解压下载的JDK1.8安装包。

tar -zxvf jdk-8u151-linux-x64.tar.gz

3.移动并重命名JDK包。

mv jdk1.8.0_151/ /usr/java8

4.配置Java环境变量。

echo 'export JAVA_HOME=/usr/java8' >> /etc/profile
echo 'export PATH=$PATH:$JAVA_HOME/bin' >> /etc/profile
source /etc/profile

5.查看Java是否成功安装。

java -version

二：Hadoop的安装流程

1.下载Hadoop安装包--- 在根目录下下载 “/”

wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.4.0/hadoop-3.4.0.tar.gz

2.解压Hadoop安装包解压到 /app  ---在/app路径下进行

1.创建/app
    mkdir /app

2.解压Hadoop
    tar -zxvf hadoop-3.4.0.tar.gz -C /app 

3.改名字：
    mv  hadoop-3.4.0/ hadoop3.4

 3.配置Hadoop环境

1.设置SSH免密登录

在之后操作集群的时候我们需要经常登录主机和从机，所以设置SSH免密登录时有必要的。

输入如下代码：

 ssh-keygen -t rsa -P ''

生成无密码密钥对，询问保存路径直接输入回车，生成密钥对：id_rsa和id_rsa.pub，默认存储在~/.ssh目录下。 
接下来：把id_rsa.pub追加到授权的key里面去。

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

然后修改权限：

chmod 600 ~/.ssh/authorized_keys

接着需要启用RSA认证，启动公钥私钥配对认证方式：
vim /etc/ssh/sshd_config  如果提示权限不足在命令前加上sudo；
修改ssh配置：

RSAAuthentication yes # 启用 RSA 认证
PubkeyAuthentication yes # 启用公钥私钥配对认证方式
AuthorizedKeysFile %h/.ssh/authorized_keys # 公钥文件路径

重启SSH(在本地自己的虚拟机中可以重启，在平台不可以重启哦，也不需要，重启了你就连接不上命令行了！) 

service ssh restart

2.hadoop-env.sh 配置

两个env.sh文件主要是配置JDK的位置

提示：如果忘记了JDK的位置了，输入 echo $JAVA_HOME就可以看到哦。

首先我们切换到hadoop目录下

cd /app/hadoop3.4/etc/hadoop/

编辑  hadoop-env.sh在文件中插入如下代码： 

1.
vi hadoop-env.sh

2. 进入后 i 插入

# The java implementation to use.  
#export JAVA_HOME=${JAVA_HOME}  
export JAVA_HOME=/usr/java8


3.yarn-env.sh 配置

编辑yarn-env.sh 插入如下代码：

1.
vi yarn-env.sh

2. 进入后 i 插入

export JAVA_HOME=/usr/java8

4.core-site.xml配置

这个是核心配置文件我们需要在该文件中加入HDFS的URI和NameNode的临时文件夹位置，这个临时文件夹在下文中会创建。
在文件末尾的configuration标签中添加代码如下：

<configuration>  
 <property>  
    <name>fs.default.name</name>  
    <value>hdfs://localhost:9000</value>  
    <description>HDFS的URI，文件系统://namenode标识:端口号</description>  
</property>  
  
<property>  
    <name>hadoop.tmp.dir</name>  
    <value>/usr/hadoop/tmp</value>  
    <description>namenode上本地的hadoop临时文件夹</description>  
</property>  
</configuration>  


5.hdfs-site.xml文件配置

replication指的是副本数量，我们现在是单节点，所以是1。

<configuration>  
<property>  
    <name>dfs.name.dir</name>  
    <value>/usr/hadoop/hdfs/name</value>  
    <description>namenode上存储hdfs名字空间元数据 </description>   
</property>  
  
<property>  
    <name>dfs.data.dir</name>  
    <value>/usr/hadoop/hdfs/data</value>  
    <description>datanode上数据块的物理存储位置</description>  
</property>  
  
<property>  
    <name>dfs.replication</name>  
    <value>1</value>  
</property>  
</configuration>  
mapred-site.xml文件配置
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>


6.yarn-site.xml配置

<configuration>  
<property>  
        <name>yarn.nodemanager.aux-services</name>  
        <value>mapreduce_shuffle</value>  
</property>  
<property>  
        <name>yarn.resourcemanager.webapp.address</name>  
        <value>192.168.2.10:8099</value>  
        <description>这个地址是mr管理界面的</description>  
</property>  
</configuration>  

7.创建文件夹

我们在配置文件中配置了一些文件夹路径，现在我们来创建他们，在/usr/hadoop/目录下使用hadoop用户操作，建立tmp、hdfs/name、hdfs/data目录，执行如下命令：

mkdir -p /usr/hadoop/tmp 
mkdir /usr/hadoop/hdfs 
mkdir /usr/hadoop/hdfs/data 
mkdir /usr/hadoop/hdfs/name

将Hadoop添加到环境变量中

vim /etc/profile

在文件末尾插入如下代码：

export HADOOP_HOME=/app/hadoop3.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

最后使修改生效：

source /etc/profile

7.验证

现在配置工作已经基本搞定，接下来只需要完成：1.格式化HDFS文件、2.启动hadoop、3.验证Hadoop 即可。

7.1格式化

在使用Hadoop之前我们需要格式化一些hadoop的基本信息。
使用如下命令：

hadoop namenode -format

出现如下界面代表成功：

（若是出现问题不成功或没出现上图，很有可能是环境变量出现问题！----重装centOS系统！）
7.2启动Hadoop

接下来我们启动Hadoop：

start-dfs.sh

输入命令应该会出现如下图界面：

这个是表示启动没成功，是因为root用户现在还不能启动hadoop，我们来设置一下就可以了。

在/hadoop3.1/sbin路径下：

 cd /app/hadoop3.1/sbin。
7.3 start-dfs.sh，stop-dfs.sh 两个文件顶部添加以下参数
#!/usr/bin/env bash
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

7.4 start-yarn.sh，stop-yarn.sh  顶部也需添加以下：
#!/usr/bin/env bash
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

7.5 再次启动start-dfs.sh，最后输入命令 jps 验证
jps

出现如下界面代表启动成功：

7.6 验证 http://localhost:9870/

之后如果你是图形化界面，可以在你虚拟机的图形化界面中打开火狐浏览器输入：http://localhost:9870/   或者在windows机器上输入http://虚拟机ip地址:9870/  也可以访问hadoop的管理页面。

 
 

FlyJune
关注
专栏目录
centos7+三台虚拟机+jdk8 + mysql + hadoop + hive + sqoop搭建
Davina_yu的博客
07-14 1104
centos7搭建+三台虚拟机搭建+jdk8 1.8.0_161安装 + mysql 5.7.38安装 + hadoop 3.2.2 集群搭建+ hive 3.1.2搭建 + sqoop1.4.7搭建
CentOS7+Hadoop2.7.2完全分布式集群搭建超详细教程
SiccyHsiang的博客
04-22 3318
CentOS7+Hadoop2.7.2完全分布式集群搭建超详细教程 文章目录CentOS7+Hadoop2.7.2完全分布式集群搭建超详细教程@[TOC](文章目录)1.虚拟机及软件准备2.CentOS虚拟机配置相关（根据自己需要而定）3.固定虚拟机ip 1.虚拟机及软件准备 VMware下载地址： https://www.vmware.com/products/workstation-pro/workstation-pro-evaluation.html jdk下载地址： https://www.ora
大数据Hadoop+HBase+Spark+Hive集群搭建教程(七月在线)1
08-03
七月在线七月在线## Note, this file is written by cloud-init on first boot of an instance
Hadoop伪分布式集群的环境搭建
weixin_44228830的博客
07-15 300
Hadoop伪分布式集群的环境搭建1.关闭防火墙和禁用SELINUX2.配置hostname与IP地址之间的对应关系3.创建用户和用户组4.配置SSH免密登录5.JDK安装6.Hadoop 2.6.0 伪分布式集群的安装配置 1.关闭防火墙和禁用SELINUX 防火墙会妨碍Hadoop集群间的相互通信，所以需要关闭防火墙，禁用SELINUX（Security Enhanced Linux)，SELINUX配置设置太严格，可能会与其他服务的功能相冲突，所以直接关闭 在控制台中输入chkconfig ipta
Hadoop环境的安装及配置
hearting的博客
03-26 1781
安装配置Hadoop开发环境 下载Hadoop 我们去官网下载：http://hadoop.apache.org/ 配置Hadoop环境 来搭建一个单节点的集群，配置一个伪分布式，为什么不做分布式呢？ 其实分布式的配置和伪分布式差不多，只是分布式机器增加了而已，其他没什么两样。 ##设置SSH免密登录 在之后操作集群的时候我们需要经常登录主机和从机，所以设置SSH免密登录时有必要的。 输入如下代码...
头歌Hadoop 开发环境搭建及HDFS初体验（第2关：配置开发环境 - Hadoop安装与伪分布式集群搭建）
python一生之敌的博客
09-08 2万+
第2关：配置开发环境 - Hadoop安装与伪分布式集群搭建 第3关：HDFS系统初体验
2_1 - Hadoop 开发环境搭建及HDFS初体验
weixin_43988390的博客
03-06 1259
作业罢了
头歌大数据——HBase 伪分布式环境搭建
kercii的博客
04-28 1万+
HBase 伪分布式环境搭建
centos7+hadoop2.7.3+jdk1.8
11-01
本文将详细讲解如何在CentOS7上安装Hadoop2.7.3和JDK1.8，以及相关配置步骤。 首先，我们需要确保系统主机名正确设置，这对于集群中的节点间通信至关重要。在CentOS7中，可以通过以下步骤修改主机名： 1. 使用`vi`...
CentOs7下安装Hadoop详细步骤
weixin_58941637的博客
12-07 5452
一、安装虚拟机 版本（CentOS7） 二、修改主机名（当前虚拟机的主机名） 1.查看当前的主机名 hostname 2.修改主机名 vi /etc/hostname （1）一定要在vi的命令模式下（在编辑模式下按esc键） :wq #保存退出 :wq! #强制保存退出 :q #退出 :q! #强制退出 （2）编辑模式下：i当前光标所在的位置。 3.启动命令： reboot -h now 补充：第二种修改主机名的方式 Hostnamectl set-hostname <自己编写的主机名&g
linux下载，安装，JDK配置，hadoop安装
07-06
该文档是本人亲自试验过的，包含虚拟机centOS6.5系统的下载，安装，jdk配置，hadoop安装诸多内容。版权所有，未经许可，不得转载。
第2关：配置开发环境 - Hadoop安装与伪分布式集群搭建
m0_63514931的博客
09-26 416
咱们来搭建一个单节点的集群，配置一个伪分布式，为什么不做分布式呢？其实分布式的配置和伪分布式差不多，只是分布式机器增加了而已，其他没什么两样，所以作为。学习我们搭建伪分布式要更好一点，不过后期我们会搭建真正的分布式环境。在本地自己的虚拟机中可以重启，在平台不可以重启哦，也不需要，重启了你就连接不上命令行了！我们在配置文件中配置了一些文件夹路径，现在我们来创建他们，在。如果是生产环境就需要验证文件的完整性，在这里就偷个懒了。指的是副本数量，我们现在是单节点，所以是。，所以我们已经预先帮你下载好了，切换到。
【大数据】Hadoop下载安装及伪分布式集群搭建教程
最新发布
Joker_ZJN的博客
04-12 2696
一文详解hadoop下载安装以及伪分布式集群搭建教程
【头歌】Hadoop开发环境搭建
热门推荐
qq_46048008的博客
05-09 2万+
配置开发环境是我们学习一门IT技术的第一步，Hadoop是基于Java开发的，所以我们学习Hadoop之前需要在Linux系统中配置Java的开发环境。
Hadoop的安装和伪分布式集群搭建
Jo_Andy的专栏
04-06 1168
java安装 配置免密码登录 创建公钥和私钥 ssh -keygen -t rsa 将要登录者机器的公钥id_rsa.pub内容添加到被登录机器的authorized_keys中,修改authorized_keys权限 这里模拟本机登录本机 cd ~/.ssh/ cat id_rsa.pub >> authorized_keys chmod 644 authorized_keys ...
头歌 ｜HBase 伪分布式环境搭建｜第1关：HBASE伪分布式环境搭建
m0_61546943的博客
06-24 1889
【代码】头歌|HBase 伪分布式环境搭建|第1关：HBASE伪分布式环境搭建。
Hadoop伪分布式与集群式安装配置
zhaogezhuoyuezhao的专栏
12-24 6868
http://www.cnblogs.com/yedezhanghao/archive/2012/07/29/2614182.html 配置环境                           配置前的说明 部署伪分布式与集群式Hadoop的绝大部分操作都是一样的，细节上区别在于集群式是在两台机子上部署的，两台机子都要执行下列操作，而伪分布式都是在一台机子上操作，以下全部操作如没有特别说
Hadoop集群之伪分布式搭建
Simlie的博客
04-14 1225
秉承着学习的态度去写下我在学习Hadoop的一些心得，若有不足之处，还请各位多多包涵。Hadoop集群环境可以分为单机环境，伪分布式环境和完全分布式环境，文章将介绍在个人计算机上安装配置虚拟机，并在虚拟机中搭建Hadoop伪分布式集群的完整过程。
linux安装JDK和Hadoop
Rain_2021245488的博客
07-29 370
前面我们实现了虚拟机的安装，也为每个节点配置的网络，使其能上网。但这样还远不能让集群进行工作，因为我们并没有为每个节点安装hadoop软件，又怎么使用它所提供的服务呢？下载完软件后，如何让虚拟机找到hadoop路径等？本篇将讲述如何安装jdk和hadoop。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值