Hadoop搭建（Linux）

最新推荐文章于 2024-04-12 12:46:49 发布
最新推荐文章于 2024-04-12 12:46:49 发布
阅读量416 收藏 2
点赞数 1
文章标签： hadoop
原文链接：https://blog.csdn.net/catinlbb/article/details/110159895
版权

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
原文链接：https://blog.csdn.net/catinlbb/article/details/110159895

因为今天安装时候发现完全按照上述这篇大佬写的文章有些地方会出问题，所以整理了一下现在安装Hadoop的一些注意点和步骤，基本流程与上述一致。【2022.3.28】

目录

版本信息1

安装JDK2

安装Hadoop3

修改Hadoop配置文件4

配置ssh免密登录5

启动Hadoop6

其余问题7

版本信息

服务器：阿里云轻量级，2G2核

JDK：1.8

Hadoop：3.2.2

安装JDK

下载jdk安装包

wget https://download.java.net/openjdk/jdk8u41/ri/openjdk-8u41-b04-linux-x64-14_jan_2020.tar.gz

解压安装包

tar -zxvf openjdk-8u41-b04-linux-x64-14_jan_2020.tar.gz

移动并重命名JDK

mv java-se-8u41-ri/ /usr/java8

打开添加环境变量的文件

vim /etc/profile

在末尾添加环境变量（按 i 进入编辑模式，按esc后在最下面输入:wq保存并退出）

export JAVA_HOME=/usr/java8
export PATH=$PATH:$JAVA_HOME/bin

刷新配置

source /etc/profile

安装Hadoop

下载Hadoop安装包

wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.2.2/hadoop-3.2.2.tar.gz

解压安装包，移动至/opt/hadoop

tar -zxvf hadoop-3.2.2.tar.gz -C /opt/
mv /opt/hadoop-3.2.2 /opt/hadoop

打开添加环境变量的文件

vim /etc/profile

在最后追加环境变量

export HADOOP_HOME=/opt/hadoop/
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

刷新配置

source /etc/profile

修改配置文件：

vim /opt/hadoop/etc/hadoop/yarn-env.sh  # 打开文件yarn-env.sh
export JAVA_HOME=/usr/java8  # 在末尾追加

vim /opt/hadoop/etc/hadoop/hadoop-env.sh  # 打开文件hadoop-env.sh
export JAVA_HOME=/usr/java8  # 在末尾追加

测试Hadoop是否安装成功

hadoop version

修改Hadoop配置文件

打开core-site.xml

vim /opt/hadoop/etc/hadoop/core-site.xml

在节点内插入如下内容

  <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/opt/hadoop/tmp</value>
        <description>location to store temporary files</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>

打开hdfs-site.xml

 vim /opt/hadoop/etc/hadoop/hdfs-site.xml

在节点内插入如下内容

 <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/opt/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/opt/hadoop/tmp/dfs/data</value>
    </property>

配置ssh免密登录

创建公钥和私钥

ssh-keygen -t rsa

连续点击Enter（大概有三个）

添加公钥

cd .ssh
cat id_rsa.pub >> authorized_keys

启动Hadoop

初始化namenode

hadoop namenode -format

打开/etc/profile

vim /etc/profile

在末尾添加环境变量配置

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

启动Hadoop，（关闭Hadoop只需要把start换成stop）

start-dfs.sh
start-yarn.sh

查看端口情况

netstat -lnpt

浏览器访问Hadoop页面

http://公网IP:8088

http://公网IP:9870 本来应该是50070，但是试过很多办法进不去，发现这个9870端口和60070一样

其余问题

  • 访问不了8088

    查看防火墙状态，防火墙为 Active：inactive (dead) 状态

    systemctl status firewalld

    关闭防火墙，关闭防火墙自启动

    systemctl stop firewalld
systemctl disable firewalld

  1. 版本信息

    服务器：阿里云轻量级，2G2核

    JDK：1.8

    Hadoop：3.2.2 ↩︎

  2. 安装JDK

    下载jdk安装包

    wget https://download.java.net/openjdk/jdk8u41/ri/openjdk-8u41-b04-linux-x64-14_jan_2020.tar.gz

    解压安装包

    tar -zxvf openjdk-8u41-b04-linux-x64-14_jan_2020.tar.gz

    移动并重命名JDK

    mv java-se-8u41-ri/ /usr/java8

    打开添加环境变量的文件

    vim /etc/profile

    在末尾添加环境变量（按 i 进入编辑模式，按esc后在最下面输入:wq保存并退出）

    export JAVA_HOME=/usr/java8
export PATH=$PATH:$JAVA_HOME/bin

    刷新配置

    source /etc/profile
    ↩︎

  3. 安装Hadoop

    下载Hadoop安装包

    wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.2.2/hadoop-3.2.2.tar.gz

    解压安装包，移动至/opt/hadoop

    tar -zxvf hadoop-3.2.2.tar.gz -C /opt/
mv /opt/hadoop-3.2.2 /opt/hadoop

    打开添加环境变量的文件

    vim /etc/profile

    在最后追加环境变量

    export HADOOP_HOME=/opt/hadoop/
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

    刷新配置

    source /etc/profile

    修改配置文件：

    vim /opt/hadoop/etc/hadoop/yarn-env.sh  # 打开文件yarn-env.sh
export JAVA_HOME=/usr/java8  # 在末尾追加

    vim /opt/hadoop/etc/hadoop/hadoop-env.sh  # 打开文件hadoop-env.sh
export JAVA_HOME=/usr/java8  # 在末尾追加

    测试Hadoop是否安装成功

    hadoop version
    ↩︎

  4. 修改Hadoop配置文件

    打开core-site.xml

    vim /opt/hadoop/etc/hadoop/core-site.xml

    在节点内插入如下内容

      <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/opt/hadoop/tmp</value>
        <description>location to store temporary files</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>

    打开hdfs-site.xml

     vim /opt/hadoop/etc/hadoop/hdfs-site.xml

    在节点内插入如下内容

     <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/opt/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/opt/hadoop/tmp/dfs/data</value>
    </property>
    ↩︎

  5. 配置ssh免密登录

    创建公钥和私钥

    ssh-keygen -t rsa

    连续点击Enter（大概有三个）

    添加公钥

    cd .ssh
cat id_rsa.pub >> authorized_keys
    ↩︎

  6. 启动Hadoop

    初始化namenode

    hadoop namenode -format

    打开/etc/profile

    vim /etc/profile

    在末尾添加环境变量配置

    export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

    启动Hadoop，（关闭Hadoop只需要把start换成stop）

    start-dfs.sh
start-yarn.sh

    查看端口情况

    netstat -lnpt

    浏览器访问Hadoop页面

    http://公网IP:8088

    http://公网IP:9870 本来应该是50070，但是试过很多办法进不去，发现这个9870端口和60070一样 ↩︎

  7. 其余问题

    • 访问不了8088

      查看防火墙状态，防火墙为 Active：inactive (dead) 状态

      systemctl status firewalld

      关闭防火墙，关闭防火墙自启动

      systemctl stop firewalld
systemctl disable firewalld
    ↩︎
qq_42373068
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Linux下的Hadoop搭建1
08-08
Linux下的Hadoop搭建1 本篇文章将指导读者如何在Linux系统上搭建Hadoop环境。Hadoop是一种大数据处理工具，能够对大量数据进行存储和处理。下面是 Linux下的Hadoop搭建步骤。 首先，需要了解Hadoop有三种运行模式...
大数据框架-Hadoop安装（一主一从）
klnsGenesis的博客
04-14 686
Hadoop安装（一主一从） 操作环境介绍： 操作系统环境：centos7.6 腾讯云服务器主机（两台都是） 操作平台：宝塔界面 Hadoop版本：3.2.3 JDK版本：1.8.0_291 关闭宝塔防火墙，腾讯云控制台修改安全组，配置自己需要的ip，否则可能会有注入病毒的风险 教程正式开始 主机名配置 查看主从服务器各自的主机名 hostname 建议将主服务器修改为master 从服务器主机名修改为slave （多服务器的话后面可以加上数字区分） sudo hostnamectl set-hostn
Hadoop完全分布式环境搭建开发文档
蔡小小的博客
01-13 667
Hadoop完全分布式环境搭建开发文档 一． 准备工作 1.1软硬件环境 主机操作系统：内存：20G，Windows64 虚拟机软件：VMware Workstation 15.5 虚拟操作系统：Centos 7 64位 JDk：1.8 64位 Hadoop：2.7 宝塔面板 1.2集群网络环境 集群包括3个节点，1个Namenode、2个Datanode，其中节点之间可以相互ping通。 节点IP地址和主机名如下： 二. 环境搭建 2.1操作系统安装 2.1.1安装centos7
大数据技术—Hadoop之搭建Linux虚拟机（桥接模式下）_haddop虚拟机(1)
最新发布
code8889的博客
04-12 738
最全的Linux教程，Linux从入门到精通。
HADOOP 初见
度窝-笔记
10-12 239
Hadoop本身提供了丰富的tool（一大堆脚本工具） 而且还可以继承这些tool做更强大的开发 Hadoop还为javaTM提供了很多本地方法库（基于JNI）弥补JAVA的局限 Hadoop还有很多子项目（如HIVE,HBASE,SQOOP）,以及很多免费的基于hadoop开发的工具项目 其中用来做数据库集群的是HBASE   他的管理工具（类似于
大数据-Hadoop-云服务器的搭建
weixin_45532984的博客
03-22 5807
一. 云服务器的购买及其设置 1. 服务器的选择及购买 2. 配置安全组规则（开放端口） 3. xshell登录，无密登录，密钥设置 二. Hadoop及JDK安装 1. Hadoop以及JDK版本选择 2. Hadoop以及JDK上传云端 3. scp命令, sync命令以及集群分发脚本xsync 4. 添加环境变量 5. 安装完成后的校验 三. Hadoop配置文件 1. core-site.xml 2. hdfs-site.xml 3. yarn-site.xml 4. m
Hadoop入门及简单使用
yellowswimming的博客
10-16 4392
hadoop安装及第一个计算pi值程序跑通.翻译过来就是hadoop贡献了一个可靠，大规模，分布式的计算**开源**软件(通常一个公司开发出产品在第一句话都要吹一下的，还都是一堆听起来很高大尚的专业术语:smile:),hadoop同时是一个允许使用简单的编程模型来处理分布式大数据集的框架，后面的你可以理解为是分布式统一的优点，这里不再详细分析，有兴趣的可以去了解一下分布式相关的技术。
Hadoop搭建-Linux系统.docx
11-27
配套资源，本人自己搭建的hadoop过程常见问题： Q：开始时无法创建虚拟机，系统提示不支持CPU虚拟化。 A;联想机器常见问题，百度一下就可以了。进入BIOS设置一下，重启即可解决。 Q：没网络。 A：新手常见问题。...
hadoop搭建1
08-08
本文将指导您从头开始搭建一个 Hadoop 集群，包括安装虚拟机、Linux 操作系统、Hadoop 和 JDK，配置网络和 hosts 文件，并安装必备软件。 虚拟机安装 在开始搭建 Hadoop 集群之前，我们需要安装一个虚拟机。这里...
Linux下Hadoop2.7.3集群环境的搭建.docx
06-30
本文旨在提供最基本的，可以用于在生产环境进行Hadoop、HDFS分布式环境的搭建，对自己是个总结和整理，也能方便新人学习使用。
hadoop搭建步骤
08-13
Hadoop搭建步骤 Hadoop是一个大数据处理框架，环境搭建是学习Hadoop的第一步，但要成功搭建一个分布式环境，还是颇费些周折的。以下是Hadoop搭建步骤的详细讲解。 一、静态IP配置 在所有机器上手工设置静态IP，...
Centos 6.4下搭建Hadoop 2.2.0完全分布式集群
07-29
本文档堪称最齐全的Hadoop-2.2.0搭建手册，不管是对于生手，还是对于想自己动手搭建的生手来说，都是非常有用的；因为自己是生手，看网上好多步骤，但还是有不懂的地方，所以自己整理下来了齐全的生手版，希望对一切生手来说有用哦
【详细版】Linux系统中搭建Hadoop
weixin_55928290的博客
11-01 3468
修改core-site.xml文件，分别指定hdfs 协议文件系统的通信地址及hadoop 存储临时文件的目录。进入/opt/server/hadoop-3.3.4/etc/hadoop 目录下，修改以下配置。进入 ~/.ssh 目录下，查看生成的公匙和私匙，并将公匙写入到授权文件。Hadoop 3中不允许使用root用户来一键启动集群，需要配置启动用户。进入 ${HADOOP_HOME}/sbin/ 目录下，启动 YARN。切换/opt/tools目录下，rz上传Hadoop安装包。
ECS服务器搭建hadoop伪分布式
CBeann的博客
01-18 1899
前提准备 1）阿里云ECS服务器Centos7.5 2）Xshell或者其他和Linux交互的软件（本文用的Bitvise SSH软件） 我用的是Bitvise SSH Bitvise SSH下载 Bitvise SSH使用 里面有讲SSH软件怎么用 3）最好会vim操作（不会也没问题） 不会的用软件把需要修改的文件下载下到本地修改完毕后在上传回去覆盖原来的文件 4）hadoo...
在Linux中进行hadoop集群搭建
weixin_43268590的博客
08-26 2709
在公网IP为x.x.x.x、y.y.y.y和z.z.z.z并装有Centos8的服务器上进行hadoop集群搭建，都安装hadoop-3.1.3和server-jre-8u202-linux-x64。
Linux下Hadoop2.7.1集群环境的搭建（超详细版）
weixin_30559481的博客
05-06 2467
本文旨在提供最基本的，可以用于在生产环境进行Hadoop、HDFS分布式环境的搭建，对自己是个总结和整理，也能方便新人学习使用。 一、基础环境 在Linux上安装Hadoop之前，需要先安装两个程序： 1.1 安装说明 1. JDK 1.6或更高版本（本文所提到的安装的是jdk1.7）; 2. SSH(安全外壳协议)，推荐安装OpenSSH。 下面简述一下安装...
【linux教程】宝塔面板下Tomcat+Nginx部署JAVA WEB应用，超详细！！！！！
热门推荐
AZ的个人技术博客
05-22 5万+
针对新手，大佬的史上最最最详细的tomcat配置教程，使用宝塔面板来操作nginx，超级方便简单，傻x式操作，只需要跟着教程做绝对可以搭建好您自己的java web应用。
从 Linux 安装到 Hadoop 环境搭建全过程
奇妙的代码
07-01 7263
从 Linux 的最小化安装到 Hadoop 环境的搭建，尽可能详尽介绍每个步骤。
从零开始在 Linux 上搭建 Hadoop 平台：一个详细的教程和必备配置文件
canshanyin的博客
05-02 4185
在本文中，我们讨论了从头开始在 Linux 上搭建 Hadoop 平台所需的步骤。我们讨论了如何选择适当的 Linux 发行版，如何安装和配置 Java 环境，以及如何下载和配置 Hadoop。此外，我们还讨论了 Hadoop 的必要配置文件的内容，并展示了如何启动 Hadoop 和测试它是否正常运行。此外，为了更详细地了解如何配置和管理 Hadoop，请参阅 Apache Hadoop 的官方文档。
linux hadoop搭建教程
06-28
要在Linux系统上搭建Hadoop，需要以下步骤: 1. 安装Java：Hadoop需要Java的运行环境，因此需要在Linux系统上安装Java。 2. 下载Hadoop：在官网上下载Hadoop的最新版本，或者使用wget命令下载。 3. 配置Hadoop：...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值