在Linux中进行hadoop集群搭建

已于 2023-03-21 16:29:03 修改
阅读量2.7k 收藏 19
点赞数 2
分类专栏： 2022运维 文章标签： hadoop linux 大数据 集群 运维
于 2022-08-26 12:11:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43268590/article/details/126540728
版权

在公网IP为x.x.x.x、y.y.y.y和z.z.z.z并装有Centos8的服务器上进行hadoop集群搭建，都安装hadoop-3.1.3和server-jre-8u202-linux-x64。

环境准备（三台服务器都一样）

第一步，创建统一工作目录。

# 软件安装路径

命令：mkdir -p /usr/local/src/server/

# 数据存储路径

命令：mkdir -p /usr/local/src/data/

# 安装包存放路径

命令：mkdir -p /usr/local/src/software/

第二步，下载server-jre-8u202-linux-x64.tar.gz安装包。

到地址：https://www.oracle.com/java/technologies/javase/javase8-archive-downloads.html下载server-jre-8u202-linux-x64.tar.gz安装包。然后使用WinSCP将安装包上传到/usr/local/src/software文件夹中。或者也可以使用wget命令下载。

命令：cd /usr/local/src/software

wget https://www.oracle.com/java/technologies/javase/javase8-archive-downloads.html/jre-8u202-linux-x64.tar.gz

第三步，解压server-jre-8u202-linux-x64.tar.gz安装包。

命令：cd /usr/local/src/software

tar -zxvf server-jre-8u202-linux-x64.tar.gz -C /usr/local/src/server

第四步，配置环境变量。

配置/etc/profile文件，在文件添加下面的代码：

export JAVA_HOME=/usr/local/src/server/jdk1.8.0_202

export JRE_HOME=$JAVA_HOME/jre

export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

# 刷新profile文件

命令：source /etc/profile

第五步，测试server-jre是否配置成功。

# 查看jdk版本

命令：java -version

若结果显示server-jre的版本，则说明server-jre配置成功。

第六步，关闭防火墙。

为了可以让本地的机器可以通过Web网页访问集群资源，为了防止在运行集群的时候出现集群不可访问的状况，需要关闭防火墙。

命令：systemctl stop firewalld

# 开机时禁用防火墙

命令：systemctl disable firewalld

第七步，各自修改主机名，配置IP地址映射。

命令：hostnamectl set-hostname node1

hostnamectl set-hostname node2

hostnamectl set-hostname node3

对三台主机的IP地址进行映射，可以方便后续的配置，同时也方便对集群进行通信，三台机器同样操作。

在/etc/hosts文件中加入下面的代码：

x.x.x.x     node1

y.y.y.y     node2

z.z.z.z     node3

第八步，配置免密登录。

# 在~目录下执行，生成密钥

命令：cd

ssh-keygen -t rsa  # 按四下enter

cd /root/.ssh/

cp id_rsa.pub authorized_keys

# 将node1的密钥拷到其他服务器上

ssh-copy-id -i node2

ssh-copy-id -i node3

第九步，集群时间同步。

命令：yum -y install ntpdate

ntpdate ntp4.aliyun.com

安装Hadoop（三台服务器都一样）

第一步，集群规划。

NameNode=NN          DataNode=DN        SecondaryNameNode=SNN

NodeManager=NM     ResourceManager=RM

HDFS集群—主角色：NN   从角色：DN   主角色辅助角色：SNN

YARN集群—主角色：RM   从角色：NM

框架          node1      node2       node3

HDFS        NN、DN        DN        SNN、DN

YARN          NM        RM、NM        NM

Hadoop集群包括两个集群:HDFS集群和YARN集群。

两个集群都是标准的主从架构集群。

逻辑上分离：两个集群互相之间没有依赖、互不影响。

物理上在一起：某些角色进程往往部署在同一台物理服务器上。

MapReduce是计算框架、代码层面的组件，没有集群之说。

角色规划的准则：

根据软件工作特性和服务器硬件资源情况合理分配。

角色规划注意事项：

资源上有抢夺冲突的，尽量不要部署在一起。

工作上需要互相配合的，尽量部署在一起。

第二步，下载hadoop-3.1.3。

登录网址：https://archive.apache.org/dist/hadoop/common/

下载hadoop-3.1.3.tar.gz。也可以使用命令下载。

命令：cd /usr/local/src/software

wget https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/hadoop-3.1.3.tar.gz

第三步，上传、解压tar.gz压缩包。

命令：cd /usr/local/src/software

tar -zxvf hadoop-3.1.3.tar.gz -C /usr/local/src/server

第四步，配置环境变量。

在/etc/profile文件添加下面的代码：

export HADOOP_HOME=/usr/local/src/server/hadoop-3.1.3

export PATH=$PATH:$HADOOP_HOME/bin

export PATH=$PATH:$HADOOP_HOME/sbin

# 使环境变量生效

命令：source /etc/profile

# 测试是否配置成功

命令：hadoop version

如果结果显示“Hadoop 3.1.3”，则说明hadoop配置成功。

集群配置

配置文件在/usr/local/src/server/hadoop-3.1.3/etc/hadoop中。

第一步，对node1中的Hadoop自定义配置文件进行配置。

1）创建目录。

命令：mkdir /usr/local/src/server/hadoop-3.1.3/tmp

mkdir /usr/local/src/server/hadoop-3.1.3/dfs

2）配置hadoop-env.sh。

在hadoop-env.sh文件中加入下面的代码：

export JAVA_HOME=/usr/local/src/server/jdk1.8.0_202

# 在文件末尾加入下面的代码，设置用户以执行对应角色shell命令

export HDFS_NAMENODE_USER=root

export HDFS_DATANODE_USER=root

export HDFS_SECONDARYNAMENODE_USER=root

export YARN_RESOURCEMANAGER_USER=root

export YARN_NODEMANAGER_USER=root

3）配置core-site.xml。

在core-site.xml文件中加入下面的代码：

<configuration>

<property>

  <name>fs.defaultFS</name>

  <value>hdfs://node1:9000</value>

</property>

<!-- 配置Hadoop存储数据目录,默认/tmp/hadoop-${user.name} -->

<property>

   <name>hadoop.tmp.dir</name>

 <value>file:/usr/local/src/server/hadoop-3.1.3/tmp</value>

</property>

<!--  缓冲区大小，实际工作中根据服务器性能动态调整 -->

<property>

   <name>io.file.buffer.size</name>

   <value>131072</value>

</property>

<!--  开启hdfs的垃圾桶机制，删除掉的数据可以从垃圾桶中回收，单位分钟 -->

<property>

   <name>fs.trash.interval</name>

   <value>10080</value>

</property>

</configuration>

4）配置hdfs-site.xml。

在hdfs-site.xml文件中加入下面的代码：

<configuration>

<!-- namenode存储hdfs名字的空间的元数据文件目录 -->

<property>

    <name>dfs.namenode.name.dir</name>                     

    <value>file:/usr/local/src/server/hadoop-3.1.3/dfs/name</value>

</property>

<!-- datanode上的一个数据块的物理的存储位置文件 -->

<property>

    <name>dfs.datanode.data.dir</name> <value>file:/usr/local/src/server/hadoop-3.1.3/dfs/data</value>

</property>

<!-- 指定HDFS保存数据副本的数量 -->

<property>

    <name>dfs.replication</name>

    <value>3</value>

</property>

<!-- 设置一个block的大小：128M-->

<property>

    <name>dfs.blocksize</name>

    <value>134217728</value>

</property>

<!-- 定义namenode界面的访问地址 -->

<property>

    <name>dfs.http.address</name>

    <value>node1:50070</value>

</property>

<!-- 设置HDFS的文件权限-->

<property>

    <name>dfs.permissions</name>

    <value>false</value>

</property>

<!-- 指定DataNode的节点配置文件 -->

<property>

    <name>dfs.hosts</name>

    <value>/usr/local/src/server/hadoop-3.1.3/etc/hadoop/workers</value>

</property>

</configuration>

5）配置workers。

在workers文件中加入下面的代码：

node1

node2

node3

注意：不要有多余的换行和空格

6）mapred-site.xml配置。

在mapred-site.xml文件中加入下面的代码：

<configuration>

<!-- 指定 MapReduce 程序运行在 Yarn 上，表示MapReduce使用yarn框架 -->

<property>

    <name>mapreduce.framework.name</name>

    <value>yarn</value>

</property>

<!-- 开启MapReduce小任务模式 -->

<property>

    <name>mapreduce.job.ubertask.enable</name>

    <value>true</value>

</property>

<!-- 设置历史任务的主机和端口 -->

<property>

    <name>mapreduce.jobhistory.address</name>

    <value>node1:10020</value>

</property>

<!-- 设置网页访问历史任务的主机和端口 -->

<property>

    <name>mapreduce.jobhistory.webapp.address</name>

    <value>node1:19888</value>

</property>

</configuration>

7）配置yarn-site.xml。

在yarn-site.xml文件中加入下面的代码：

<configuration>

<!-- Site specific YARN configuration properties -->

<!-- NodeManager获取数据的方式shuffle -->

<property>

    <name>yarn.nodemanager.aux-services</name>

    <value>mapreduce_shuffle</value>

</property>

<!-- yarn的web访问地址 -->

<property>

    <description>

        The http address of the RM web application.

        If only a host is provided as the value,the webapp will be served on a random port.

    </description>

    <name>yarn.resourcemanager.webapp.address</name>

    <value>${yarn.resourcemanager.hostname}:8088</value>

</property>

<property>

    <description>

        The https address of the RM web application.

        If only a host is provided as the value,the webapp will be served on a random port.

    </description>

    <name>yarn.resourcemanager.webapp.https.address</name>

    <value>${yarn.resourcemanager.hostname}:8090</value>

</property>

<!-- 开启日志聚合功能，方便我们查看任务执行完成之后的日志记录 -->

<property>

    <name>yarn.log-aggregation-enable</name>

    <value>true</value>

</property>

<!-- 设置聚合日志在hdfs上的保存时间 -->

<property>

    <name>yarn.log-aggregation.retain-seconds</name>

    <value>604800</value>

</property>

</configuration>

第二步，对node2中的Hadoop自定义配置文件进行配置。

1）创建目录。

命令：mkdir /usr/local/src/server/hadoop-3.1.3/tmp

mkdir /usr/local/src/server/hadoop-3.1.3/dfs

2）配置hadoop-env.sh。

在hadoop-env.sh文件中加入下面的代码：

export JAVA_HOME=/usr/local/src/server/jdk1.8.0_202

# 在文件末尾加入下面的代码，设置用户以执行对应角色shell命令

export HDFS_NAMENODE_USER=root

export HDFS_DATANODE_USER=root

export HDFS_SECONDARYNAMENODE_USER=root

export YARN_RESOURCEMANAGER_USER=root

export YARN_NODEMANAGER_USER=root

3）配置core-site.xml。

在core-site.xml文件中加入下面的代码：

<configuration>

<property>

    <name>fs.defaultFS</name>

    <value>hdfs://node2:9000</value>

</property>

<!-- 配置Hadoop存储数据目录,默认/tmp/hadoop-${user.name} -->

<property>

    <name>hadoop.tmp.dir</name>

    <value>file:/usr/local/src/server/hadoop-3.1.3/tmp</value>

</property>

<!--  缓冲区大小，实际工作中根据服务器性能动态调整 -->

<property>

    <name>io.file.buffer.size</name>

    <value>131072</value>

</property>

<!--  开启hdfs的垃圾桶机制，删除掉的数据可以从垃圾桶中回收，单位分钟 -->

<property>

    <name>fs.trash.interval</name>

    <value>10080</value>

</property>

</configuration>

4）配置hdfs-site.xml。

在hdfs-site.xml文件中加入下面的代码：

<configuration>

<!-- namenode存储hdfs名字的空间的元数据文件目录 -->

<property>

    <name>dfs.namenode.name.dir</name>           

    <value>file:/usr/local/src/server/hadoop-3.1.3/dfs/name</value>

</property>

<!-- datanode上的一个数据块的物理的存储位置文件 -->

<property>

    <name>dfs.datanode.data.dir</name>         

    <value>file:/usr/local/src/server/hadoop-3.1.3/dfs/data</value>

</property>

<!-- 指定HDFS保存数据副本的数量 -->

<property>

    <name>dfs.replication</name>

    <value>3</value>

</property>

<!-- 设置一个block的大小：128M-->

<property>

    <name>dfs.blocksize</name>

    <value>134217728</value>

</property>

<!-- 设置HDFS的文件权限-->

<property>

    <name>dfs.permissions</name>

    <value>false</value>

</property>

<!-- 指定DataNode的节点配置文件 -->

<property>

    <name>dfs.hosts</name>

    <value>/usr/local/src/server/hadoop-3.1.3/etc/hadoop/workers</value>

</property>

</configuration>

5）配置workers。

在workers文件中加入下面的代码：

node1

node2

node3

注意：不要有多余的换行和空格

6）mapred-site.xml配置。

在mapred-site.xml文件中加入下面的代码：

<configuration>

<!-- 指定MapReduce程序运行在Yarn上，表示MapReduce使用yarn框架 -->

<property>

    <name>mapreduce.framework.name</name>

    <value>yarn</value>

</property>

<!-- 开启MapReduce小任务模式 -->

<property>

    <name>mapreduce.job.ubertask.enable</name>

    <value>true</value>

</property>

<!-- 设置历史任务的主机和端口 -->

<property>

    <name>mapreduce.jobhistory.address</name>

    <value>node2:10020</value>

</property>

<!-- 设置网页访问历史任务的主机和端口 -->

<property>

    <name>mapreduce.jobhistory.webapp.address</name>

    <value>node2:19888</value>

</property>

</configuration>

7）配置yarn-site.xml。

在yarn-site.xml文件中加入下面的代码：

<configuration>

<!-- Site specific YARN configuration properties -->

<!-- NodeManager获取数据的方式shuffle -->

<property>

    <name>yarn.nodemanager.aux-services</name>

    <value>mapreduce_shuffle</value>

</property>

<!-- 指定YARN的ResourceManager的地址 -->

<property>

    <name>yarn.resourcemanager.hostname</name>

    <value>node2</value>

</property>

<!-- yarn的web访问地址 -->

<property>

    <description>

        The http address of the RM web application.

        If only a host is provided as the value,the webapp will be served on a random port.

    </description>

    <name>yarn.resourcemanager.webapp.address</name>

    <value>${yarn.resourcemanager.hostname}:8088</value>

</property>

<property>

    <description>

        The https address of the RM web application.

        If only a host is provided as the value,the webapp will be served on a random port.

    </description>

    <name>yarn.resourcemanager.webapp.https.address</name>

    <value>${yarn.resourcemanager.hostname}:8090</value>

</property>

<!-- 开启日志聚合功能，方便我们查看任务执行完成之后的日志记录 -->

<property>

    <name>yarn.log-aggregation-enable</name>

    <value>true</value>

</property>

<!-- 设置聚合日志在hdfs上的保存时间 -->

<property>

    <name>yarn.log-aggregation.retain-seconds</name>

    <value>604800</value>

</property>

</configuration>

第三步，对node3中的Hadoop自定义配置文件进行配置。

1）创建目录。

命令：mkdir /usr/local/src/server/hadoop-3.1.3/tmp

mkdir /usr/local/src/server/hadoop-3.1.3/dfs

2）配置hadoop-env.sh。

在hadoop-env.sh文件中加入下面的代码：

export JAVA_HOME=/usr/local/src/server/jdk1.8.0_202

# 在文件末尾加入下面的代码，设置用户以执行对应角色shell命令

export HDFS_NAMENODE_USER=root

export HDFS_DATANODE_USER=root

export HDFS_SECONDARYNAMENODE_USER=root

export YARN_RESOURCEMANAGER_USER=root

export YARN_NODEMANAGER_USER=root

3）配置core-site.xml。

在core-site.xml文件中加入下面的代码：

<configuration>

<property>

    <name>fs.defaultFS</name>

    <value>hdfs://node3:9000</value>

</property>

<!-- 配置Hadoop存储数据目录,默认/tmp/hadoop-${user.name} -->

<property>

    <name>hadoop.tmp.dir</name>

    <value>file:/usr/local/src/server/hadoop-3.1.3/tmp</value>

</property>

<!--  缓冲区大小，实际工作中根据服务器性能动态调整 -->

<property>

    <name>io.file.buffer.size</name>

    <value>131072</value>

</property>

<!--  开启hdfs的垃圾桶机制，删除掉的数据可以从垃圾桶中回收，单位分钟 -->

<property>

    <name>fs.trash.interval</name>

    <value>10080</value>

</property>

</configuration>

4）配置hdfs-site.xml。

在hdfs-site.xml文件中加入下面的代码：

<configuration>

<!-- namenode存储hdfs名字的空间的元数据文件目录 -->

<property>

    <name>dfs.namenode.name.dir</name>                   

    <value>file:/usr/local/src/server/hadoop-3.1.3/dfs/name</value>

</property>

<!-- datanode上的一个数据块的物理的存储位置文件 -->

<property>

    <name>dfs.datanode.data.dir</name>

    <value>file:/usr/local/src/server/hadoop-3.1.3/dfs/data</value>

</property>

<!-- 指定HDFS保存数据副本的数量 -->

<property>

    <name>dfs.replication</name>

    <value>3</value>

</property>

<!-- 设置一个block的大小：128M-->

<property>

    <name>dfs.blocksize</name>

    <value>134217728</value>

</property>

<!-- 定义secondarynamenode的通信地址 -->

<property>

    <name>dfs.namenode.secondary.http-address</name>

    <value>node3:50071</value>

</property>

<!-- 设置HDFS的文件权限-->

<property>

    <name>dfs.permissions</name>

    <value>false</value>

</property>

<!-- 指定DataNode的节点配置文件 -->

<property>

    <name>dfs.hosts</name>

    <value>/usr/local/src/server/hadoop-3.1.3/etc/hadoop/workers</value>

</property>

</configuration>

5）配置workers。

在workers文件中加入下面的代码：

node1

node2

node3

注意：不要有多余的换行和空格

6）mapred-site.xml配置。

在mapred-site.xml文件中加入下面的代码：

<configuration>

<!-- 指定 MapReduce 程序运行在 Yarn 上，表示MapReduce使用yarn框架 -->

<property>

    <name>mapreduce.framework.name</name>

    <value>yarn</value>

</property>

<!-- 开启MapReduce小任务模式 -->

<property>

    <name>mapreduce.job.ubertask.enable</name>

    <value>true</value>

</property>

<!-- 设置历史任务的主机和端口 -->

<property>

    <name>mapreduce.jobhistory.address</name>

    <value>node3:10020</value>

</property>

<!-- 设置网页访问历史任务的主机和端口 -->

<property>

    <name>mapreduce.jobhistory.webapp.address</name>

    <value>node3:19888</value>

</property>

</configuration>

7）配置yarn-site.xml。

在yarn-site.xml文件中加入下面的代码：

<configuration>

<!-- Site specific YARN configuration properties -->

<!-- NodeManager获取数据的方式shuffle -->

<property>

    <name>yarn.nodemanager.aux-services</name>

    <value>mapreduce_shuffle</value>

</property>

<!-- yarn的web访问地址 -->

<property>

    <description>

        The http address of the RM web application.

        If only a host is provided as the value,the webapp will be served on a random port.

    </description>

    <name>yarn.resourcemanager.webapp.address</name>

    <value>${yarn.resourcemanager.hostname}:8088</value>

</property>

<property>

    <description>

        The https address of the RM web application.

        If only a host is provided as the value,the webapp will be served on a random port.

    </description>

    <name>yarn.resourcemanager.webapp.https.address</name>

    <value>${yarn.resourcemanager.hostname}:8090</value>

</property>

<!-- 开启日志聚合功能，方便我们查看任务执行完成之后的日志记录 -->

<property>

    <name>yarn.log-aggregation-enable</name>

    <value>true</value>
    
</property>

<!-- 设置聚合日志在hdfs上的保存时间 -->

<property>

    <name>yarn.log-aggregation.retain-seconds</name>

    <value>604800</value>

</property>

</configuration>

集群启动

# 注意：如果集群是第一次启动，需要在Namenode所在节点格式化NameNode，非第一次不用执行格式化 Namenode 操作。

命令：hadoop namenode -format

# 在node1，node2，node3上分别启动HDFS、YARN

命令：cd /usr/local/src/server/hadoop-3.1.3/sbin

./start-dfs.sh   （HDFS）

./start-yarn.sh   (YARN)

# 在node1，node2，node3上查看集群的hadoop进程

命令：jps

若在node1，node2，node3上分别显示下面的结果，则说明启动集群启动成功。

  

# 在node1，node2，node3上分别停止HDFS、YARN

命令：cd /usr/local/src/server/hadoop-3.1.3/sbin

./stop-dfs.sh  （HDFS）

./stop-yarn.sh  (YARN)

Jerry 二河小鱼
关注
  • 2
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
手把手教你在linux中部署hadoop以及hadoop功能介绍
wszhm123的博客
08-22 2574
我们在学大数据的时候hadoop是躲避不开的地方，所以如何在linux中部署hadoop，下面就是手把手教你如何部署hadoop。你只要复制粘体，然后按enter键就可以了。准备：安装Linux版本的服务器。
超详细Linux搭建Hadoop集群
Sumuxi9797926的博客
11-03 830
总纲：1、准备3台客户机（关闭防火墙、静态IP、主机名称都设置好）2、3、配置环境变量4、安装Hadoop5、配置hadoop的环境变量6、配置集群7、群起测试。
Linux操作系统——Hadoop集群搭建
最新发布
m0_70381931的博客
05-22 533
Hadoop是一个开源的分布式计算框架，用于处理大规模数据集的存储和处理。它基于Google的MapReduce和Google文件系统（GFS）的思想，并使用Java语言编写。Hadoop的主要特点是高可靠性、可扩展性和高效性。
hadoop-3.1.3.tar.gz
12-06
基于centos7编辑的hadoop安装包
linux 部署Hadoop完全分布式集群教程
qq_61247494的博客
10-06 1798
linux 部署Hadoop完全分布式集群教程
Linux-Hadoop集群配置
Pythonwudud的博客
11-30 1347
一个名称节点（namenode）——老大，在master虚拟机上；三个数据节点（datanode）——小弟，在master、slave1与slave2虚拟机上。查看slave1和slave2上的进程，只有NodeManager和DataNode。可以不用设置名称节点的目录、数据节点的目录以及辅助名称节点。在slave1虚拟机上查看分发的hadoop。在slave2虚拟机上查看分发的hadoop。）在master虚拟机上，三个节点管理器（查看master虚拟机上的进程。查看slave1虚拟机上的进程。
怎么下载hadoop安装包，并在eclipse上引入hadoop外部依赖jar包
05-07 5262
有时候在eclipse上运行项目，需要引用的Hadoop的jar包，这里总结了一个很有用的小技巧 首先需要下载Hadoop的安装包 这里我直接分享一个官网hadoop的一个版本的下载链接： http://us.mirrors.quenda.co/apache/hadoop/common/hadoop-3.1.3/hadoop-3.1.3.tar.gz 需要下载其他版本的可以看下面的步骤 ...
Hadoop 3.1.3 详细安装教程
fwdwqdwq的博客
08-16 1628
1）如果集群是第一次启动，需要在hadoop001节点格式化NameNode（注意格式化之前，一定要先停止上次启动的所有namenode和datanode进程，然后再删除data和log数据）然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）（3）在配置了ResourceManager的节点（hadoop002）启动YARN。（3) 修改window的主机映射文件（hosts文件）（2）配置主机名称映射，打开/etc/hosts。配置yarn-site.xml。...
Linux-Hadoop集群搭建详细简明教程
08-31
Linux 操作系统安装环境下Hadoop集群搭建详细简明教程
linux下Hadoop集群环境搭建
04-20
在Linux环境下搭建Hadoop集群是一项复杂但至关重要的任务，它为大数据处理提供了强大的分布式平台。以下将详细介绍如何在一台虚拟机上安装多台Linux服务节点，并构建Hadoop集群环境。 首先，我们需要准备一个基础...
详解搭建ubuntu版hadoop集群
09-15
在本文中，我们将详细阐述如何在Ubuntu 16.04环境下搭建Hadoop集群。Hadoop是一个开源的分布式计算框架，它允许处理和存储大量数据，尤其适合大数据分析。Ubuntu是Linux发行版中的一个流行选择，其稳定性和丰富的...
linux安装Hadoop
08-07
研究生期间网上下的教程-Linux上安装Hadoop的教程，仅供参考
Linux中安装配置hadoop集群详细步骤
09-15
在Linux环境下搭建Hadoop集群是一项复杂但重要的任务，主要用于大数据处理和分析。本文将详细介绍如何在Ubuntu 14.04 64位系统上安装和配置Hadoop 2.7.1版本的集群。 一、简介 在开始之前，你需要两台Ubuntu 14.04 ...
linux下的hadoop集群搭建与相关配置
04-12
详细的hadoop集群搭建步骤
Hadoop大数据应用：Linux 部署 HDFS 分布式集群_linux操作hdfs
2401_83947434的博客
04-17 841
（需要修改环境配置文件hadoop-env.sh 申明JAVA安装路径和hadoop配置文件路径）另外官网默认是file ，使用的是本地文件目录。datanode节点查看（node01）datanode节点查看（node02）datanode节点查看（node03）查看日志（新生成logs目录）（10）修改HDFS配置文件。（9）查看HDFS配置文件。（6）修改节点配置文件。（8）修改核心配置文件。（12）初始化hdfs。（14）格式化hdfs。（18）web页面验证。(6) 查看命令比较。
Linux安装Hadoop（图文解说详细版）
编码人生
07-11 5256
0基础Linux安装hadoop
hadoop从零搭建一个集群
heiiochange的博客
11-11 2913
重要说明：一切安装时基于centos7 1.linux最小化安装 安装完成linux最小化base，关闭base，重新克隆一个完整的系统，并命名为hadoop40 2.配置主机，ip，hosts等文件 启动hadoop40，用root登录 ================================================== #配置静态ip [root@base ~]#vi/etc/sysconfig/network-scripts/ifcfg-ens33 #默认属..
Hadoop集群搭建（超级超级详细）
热门推荐
皮埃尔的博客
04-28 3万+
Hadoop集群搭建（超级超级详细）
linux安装hadoop集群
qq_23731295的博客
09-27 507
hadoop集群环境搭建
基于Linux的Hadoop集群搭建的探索与实现.docx
11-07
《基于Linux的Hadoop集群搭建的探索与实现》是一篇实用性强、理论与实践结合的毕业论文，适合计算机科学与技术、软件工程等专业学生深入理解Hadoop技术及其在大数据处理中的实际运用。通过阅读，读者可以掌握Hadoop...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值