在Linux中进行hadoop集群搭建(完全分布式)

最新推荐文章于 2024-10-07 16:43:40 发布
最新推荐文章于 2024-10-07 16:43:40 发布
阅读量1.3k 收藏 12
点赞数
文章标签： hadoop 分布式 linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/askuld/article/details/130426464
版权

本文默认安装好jdk

# 查看jdk版本

命令：java -version

若结果显示java的版本，则说明jdk配置成功。

 第一步：关闭防火墙

为了可以让本地的机器可以通过Web网页访问集群资源，为了防止在运行集群的时候出现集群不可访问的状况，需要关闭防火墙。

命令：systemctl stop firewalld

# 开机时禁用防火墙

命令：systemctl disable firewalld

第二步：各自修改主机名，配置IP地址映射。

查看主机名命令：hostname

修改主机名命令：hostnamectl set-hostname docker

在/etc/hosts文件中加入下面的代码：

x.x.x.x     master
y.y.y.y     slave1
z.z.z.z     slave2

第三步：配置免密操作

# 在~目录下执行，生成密钥

3.1 master节点

## 1.master节点配置免密
[root@docker ~]# /etc/init.d/sshd start
[root@docker ~]# ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa):
/root/.ssh/id_rsa already exists.
Overwrite (y/n)? y
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
fc:39:e8:f3:57:ee:40:c9:99:8c:95:16:a1:af:5f:69 root@master
The key's randomart image is:
+--[ RSA 2048]----+
|            o.   |
|           . o   |
|          . +    |
|       .   B +   |
|        S . O    |
|         o +  .. |
|        . = .oE  |
|       ..  o.+.  |
|        .o.....  |
+-----------------+
## 2.将/root/.ssh下的id_rsa.pub添加到authorized_keys
[root@docker ~]## cd /root/.ssh
[root@docker ~]## ls
authorized_keys  config  id_rsa  id_rsa.pub
[root@docker ~]# cat id_rsa.pub > authorized_keys
[root@docker ~]# cat authorized_keys
ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEAwOpTpijrGlJTnlFEBjIRq9m24KIQ9oc50javrRpWBqQxhUrjIuVQTaOqiW6Dpgo8zDVNRratkB+HnlNQ8q3L0kE+IvlZINrCijZAGksZJpgbyuhqHKdf8Tmdco90FhAENQc54pcCvpDCD4dukSuICN3533rXIBxJU7omHnTQMORo+AMyGDTWW7pNgNDQoC7iZsjE+GcpF9Aq2+joQqYwOOrTDmQ2HI6TFomnM02PERlwZkbM/5ELZsb616JPu9QMNuv8BDHgRF87PtzZEI1vBEDeNfBAc3/J5vuirlqqxgS+zk5DFiWD0jcstJG1hTX5qRCXmvEyHMfE2kEtgkAXYQ== root@master

3.2 slave1节点

[root@slave1 ~]# /etc/init.d/sshd start
[root@slave1 ~]# ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa): 
/root/.ssh/id_rsa already exists.
Overwrite (y/n)? y
Enter passphrase (empty for no passphrase): 
Enter same passphrase again: 
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
a3:6c:f7:44:82:e8:a3:3f:49:49:01:ca:6e:81:5c:c6 root@slave1
The key's randomart image is:
+--[ RSA 2048]----+
|  o+             |
|+.oE.            |
|o+   .           |
|. . .. .         |
| o .... S .      |
|.  .o. . +       |
|   .o.+ . .      |
|   .oo . o       |
|  ....    .      |
+-----------------+
[root@slave1 ~]# cd /root/.ssh
[root@slave1 ~]# cat id_rsa.pub > authorized_keys
[root@slave1 ~]# cat authorized_keys
ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEAuT0X48XmXIzJ3toiSd0tmWI1ABBgbBiILUgfTqZVdDlBGMq/bywoyJcp80cUI/k2DL4aMWHTypc776/1bMZ3/dmYnFdVWRJ2PzxJ6H2h32QXXXqAuCzVks9BU7Q58guEGoiMeWHHyIffyrcIoiS7rD0tuqgoQnFvQPQBWLVrbxyi1BxBOLeF0jsPdNmc5e4Y8ZaOjJDBvBUmSaJ2zRE6/fxQk58Xe01e4JnnwovDdL+rZB5oue6rvUwXoEiZlGkKkmr2b7xw6UCi/mnYS+wYa2LolhuMTilalkRYEtRYXZWz3VrjdlDGmuCeccUoP+r44f7yk2BTv1OIyYPpDS0HSQ== root@slave1

3.3 slave2节点

[root@slave1 ~]#  /etc/init.d/sshd start
[root@slave1 ~]#  ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa): 
/root/.ssh/id_rsa already exists.
Overwrite (y/n)? y
Enter passphrase (empty for no passphrase): 
Enter same passphrase again: 
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
86:c1:25:7f:2e:64:43:cd:36:57:a2:07:6a:cc:17:6d root@slave2
The key's randomart image is:
+--[ RSA 2048]----+
|      . ooo....  |
|     . B .=+E.   |
|      o X.++.    |
|       * = .     |
|      . S .      |
|       . .       |
|                 |
|                 |
|                 |
+-----------------+
[root@slave1 ~]#  cd /root/.ssh
[root@slave1 ~]#  cat id_rsa.pub > authorized_keys
[root@slave1 ~]#  cat authorized_keys
ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEAowCUkXu8rkzpSIi/E53Zv3qYeIItuIO72MS+m/fMsHO7edKC8XjzB4DB406iPF6q2SobaAr8x++txLSq0bnTS4MHhY0GqUICuv7R0F5js1G5jV4cSMpdHfsIb9skz3LMjTXplxXR8md7TCmeS7Kmuf9FNmCXQIuWAdnPuUVxk12b4hFeaNyCi/yktuBy5Tqyi+b2Xp9cGXxz/dl32aHxBf9pkoEUJcej1o/g+hgAZ7c+9mv9aiLhbSI6ZPUGT1F3WBEq9tCx1rkbc5nQfjTCC3/K5btLvnkaaSUShEB4tUleh06LeuuTmCxNZ7vNBoVAb1cjyGvqdJZ6hHqHHddnQQ== root@slave2

 将三个authorized_keys合并，合并之后覆盖三台虚拟机中的authorized_keys

第四步：安装Hadoop（三台服务器都一样）

4.1：下载hadoop-3.1.3。

登录网址：https://archive.apache.org/dist/hadoop/common/

下载hadoop-3.1.3.tar.gz。也可以使用命令下载。

命令：cd /usr/local/src/software

wget https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/hadoop-3.1.3.tar.gz:

4.2：上传、解压tar.gz压缩包。

命令：cd /usr/local/src/software

tar -zxvf hadoop-3.1.3.tar.gz -C /usr/local/src/server

4.3：配置环境变量。

在/etc/profile文件添加下面的代码：

export HADOOP_HOME=/home/hadoop/hadoop-3.1.3
 
export PATH=$PATH:$HADOOP_HOME/bin
 
export PATH=$PATH:$HADOOP_HOME/sbin

# 使环境变量生效

命令：source /etc/profile

# 测试是否配置成功

命令：hadoop version

如果结果显示“Hadoop 3.1.3”，则说明hadoop配置成功。

第五步：集群配置

配置文件在/home/hadoop/hadoop-3.1.3/etc/hadoop中。

1、对master中的Hadoop自定义配置文件进行配置。

1）创建目录。

命令：mkdir /home/hadoop/tmp

        mkdir /home/hadoop/dfs

2）配置hadoop-env.sh。

在hadoop-env.sh文件中加入下面的代码：

export JAVA_HOME=/home/jdk/jdk1.8.0_202
# 在文件末尾加入下面的代码，设置用户以执行对应角色shell命令
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

3）配置core-site.xml。

在core-site.xml文件中加入下面的代码：

<configuration>
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://master:9000</value>
</property>
<!-- 配置Hadoop存储数据目录,默认/tmp/hadoop-${user.name} -->
<property>
   <name>hadoop.tmp.dir</name>
 <value>file:/home/hadoop/tmp</value>
</property>
<!--  缓冲区大小，实际工作中根据服务器性能动态调整 -->
<property>
   <name>io.file.buffer.size</name>
   <value>131072</value>
</property>
<!--  开启hdfs的垃圾桶机制，删除掉的数据可以从垃圾桶中回收，单位分钟 -->
<property>
   <name>fs.trash.interval</name>
   <value>10080</value>
</property>
</configuration>

4）配置hdfs-site.xml。

在hdfs-site.xml文件中加入下面的代码：

<configuration>
<!-- namenode存储hdfs名字的空间的元数据文件目录 -->
<property>
    <name>dfs.namenode.name.dir</name>                     
    <value>file:/home/hadoop/dfs/name</value>
 </property>
 <!-- datanode上的一个数据块的物理的存储位置文件 -->
 <property>
     <name>dfs.datanode.data.dir</name>
     <value>file:/home/hadoop/dfs/data</value>
 </property>
 <!-- 指定HDFS保存数据副本的数量 -->
 <property>
     <name>dfs.replication</name>
     <value>3</value>
 </property>
 <!-- 设置一个block的大小：128M-->
 <property>
     <name>dfs.blocksize</name>
     <value>134217728</value>
 </property>
 <!-- 定义namenode界面的访问地址 -->
 <property>
     <name>dfs.http.address</name>
     <value>master:50070</value>
 </property>
 <!-- 设置HDFS的文件权限-->
 <property>
     <name>dfs.permissions</name>
     <value>false</value>
 </property>
 <!-- 指定DataNode的节点配置文件 -->
 <property>
     <name>dfs.hosts</name>
     <value>/home/hadoop/hadoop-3.1.3/etc/hadoop/workers</value>
 </property>
 </configuration>

5）配置workers。

在workers文件中加入下面的代码：

master
slave1
slave2

6）mapred-site.xml配置。

在mapred-site.xml文件中加入下面的代码：

<configuration>
 <!-- 指定 MapReduce 程序运行在 Yarn 上，表示MapReduce使用yarn框架 -->
 <property>
     <name>mapreduce.framework.name</name>
     <value>yarn</value>
 </property>
 <!-- 开启MapReduce小任务模式 -->
 <property>
     <name>mapreduce.job.ubertask.enable</name>
     <value>true</value>
 </property>
 <!-- 设置历史任务的主机和端口 -->
 <property>
     <name>mapreduce.jobhistory.address</name>
     <value>master:10020</value>
 </property>
 <!-- 设置网页访问历史任务的主机和端口 -->
 <property>
     <name>mapreduce.jobhistory.webapp.address</name>
     <value>master:19888</value>
 </property>
 </configuration>

7）配置yarn-site.xml。

在yarn-site.xml文件中加入下面的代码：

<configuration>
 <!-- Site specific YARN configuration properties -->
 <!-- NodeManager获取数据的方式shuffle -->
 <property>
     <name>yarn.nodemanager.aux-services</name>
     <value>mapreduce_shuffle</value>
 </property>
 <!-- yarn的web访问地址 -->
 <property>
     <description>
         The http address of the RM web application.
         If only a host is provided as the value,the webapp will be served on a random port.
     </description>
     <name>yarn.resourcemanager.webapp.address</name>
     <value>${yarn.resourcemanager.hostname}:8088</value>
 </property>
 <property>
     <description>
         The https address of the RM web application.
         If only a host is provided as the value,the webapp will be served on a random port.
     </description>
     <name>yarn.resourcemanager.webapp.https.address</name>
     <value>${yarn.resourcemanager.hostname}:8090</value>
 </property>
 <!-- 开启日志聚合功能，方便我们查看任务执行完成之后的日志记录 -->
 <property>
     <name>yarn.log-aggregation-enable</name>
     <value>true</value>
 </property>
 <!-- 设置聚合日志在hdfs上的保存时间 -->
 <property>
     <name>yarn.log-aggregation.retain-seconds</name>
     <value>604800</value>
 </property>
 </configuration>

2、对slave中的Hadoop自定义配置文件进行配置。

 1）创建目录。

命令：mkdir /home/hadoop/tmp

        mkdir /home/hadoop/dfs

2）配置hadoop-env.sh。

在hadoop-env.sh文件中加入下面的代码：

export JAVA_HOME=/home/jdk/jdk1.8.0_202
# 在文件末尾加入下面的代码，设置用户以执行对应角色shell命令
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

3）配置core-site.xml。

在core-site.xml文件中加入下面的代码：

<configuration>
 <property>
     <name>fs.defaultFS</name>
     <value>hdfs://slave1:9000</value>
 </property>
 <!-- 配置Hadoop存储数据目录,默认/tmp/hadoop-${user.name} -->
 <property>
     <name>hadoop.tmp.dir</name>
     <value>file:/home/hadoop/tmp</value>
 </property>
 <!--  缓冲区大小，实际工作中根据服务器性能动态调整 -->
 <property>
     <name>io.file.buffer.size</name>
     <value>131072</value>
 </property>
 <!--  开启hdfs的垃圾桶机制，删除掉的数据可以从垃圾桶中回收，单位分钟 -->
 <property>
     <name>fs.trash.interval</name>
     <value>10080</value>
 </property>
 </configuration>

4）配置hdfs-site.xml。

在hdfs-site.xml文件中加入下面的代码：

<configuration>
 <!-- namenode存储hdfs名字的空间的元数据文件目录 -->
 <property>
     <name>dfs.namenode.name.dir</name>           
     <value>file:/home/hadoop/dfs/name</value>
 </property>
 <!-- datanode上的一个数据块的物理的存储位置文件 -->
 <property>
     <name>dfs.datanode.data.dir</name>         
     <value>file:/home/hadoop/dfs/data</value>
 </property>
 <!-- 指定HDFS保存数据副本的数量 -->
 <property>
     <name>dfs.replication</name>
     <value>3</value>
 </property>
 <!-- 设置一个block的大小：128M-->
 <property>
     <name>dfs.blocksize</name>
     <value>134217728</value>
 </property>
 <!-- 设置HDFS的文件权限-->
 <property>
     <name>dfs.permissions</name>
     <value>false</value>
 </property>
 <!-- 指定DataNode的节点配置文件 -->
 <property>
     <name>dfs.hosts</name>
     <value>/home/hadoop/hadoop-3.1.3/etc/hadoop/workers</value>
 </property>
 </configuration>

5）配置workers。

在workers文件中加入下面的代码：

master
slave1
slave2

6）mapred-site.xml配置。

在mapred-site.xml文件中加入下面的代码：

<configuration>
 <!-- 指定MapReduce程序运行在Yarn上，表示MapReduce使用yarn框架 -->
 <property>
     <name>mapreduce.framework.name</name>
     <value>yarn</value>
 </property>
 <!-- 开启MapReduce小任务模式 -->
 <property>
     <name>mapreduce.job.ubertask.enable</name>
     <value>true</value>
 </property>
 <!-- 设置历史任务的主机和端口 -->
 <property>
     <name>mapreduce.jobhistory.address</name>
     <value>slave1:10020</value>
 </property>
 <!-- 设置网页访问历史任务的主机和端口 -->
 <property>
     <name>mapreduce.jobhistory.webapp.address</name>
     <value>slave1:19888</value>
 </property>
 </configuration>

7）配置yarn-site.xml。

在yarn-site.xml文件中加入下面的代码：

<configuration>
 <!-- Site specific YARN configuration properties -->
 <!-- NodeManager获取数据的方式shuffle -->
 <property>
     <name>yarn.nodemanager.aux-services</name>
     <value>mapreduce_shuffle</value>
 </property>
 <!-- 指定YARN的ResourceManager的地址 -->
 <property>
     <name>yarn.resourcemanager.hostname</name>
     <value>slave1</value>
 </property>
 <!-- yarn的web访问地址 -->
 <property>
    <description>
        The http address of the RM web application.
        If only a host is provided as the value,the webapp will be served on a random port.
     </description>
     <name>yarn.resourcemanager.webapp.address</name>
     <value>${yarn.resourcemanager.hostname}:8088</value>
 </property>
 <property>
     <description>
         The https address of the RM web application.
         If only a host is provided as the value,the webapp will be served on a random port.
     </description>
     <name>yarn.resourcemanager.webapp.https.address</name>
     <value>${yarn.resourcemanager.hostname}:8090</value>
 </property>
 <!-- 开启日志聚合功能，方便我们查看任务执行完成之后的日志记录 -->
 <property>
     <name>yarn.log-aggregation-enable</name>
     <value>true</value>
 </property>
 <!-- 设置聚合日志在hdfs上的保存时间 -->
 <property>
     <name>yarn.log-aggregation.retain-seconds</name>
     <value>604800</value>
 </property>
 </configuration>

3、对slave2中的Hadoop自定义配置文件进行配置。

  1）创建目录。

命令：mkdir /home/hadoop/tmp

        mkdir /home/hadoop/dfs

2）配置hadoop-env.sh。

在hadoop-env.sh文件中加入下面的代码：

export JAVA_HOME=/home/jdk/jdk1.8.0_202
# 在文件末尾加入下面的代码，设置用户以执行对应角色shell命令
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

3）配置core-site.xml。

在core-site.xml文件中加入下面的代码：

<configuration>
 <property>
     <name>fs.defaultFS</name>
     <value>hdfs://slave2:9000</value>
 </property>
 <!-- 配置Hadoop存储数据目录,默认/tmp/hadoop-${user.name} -->
 <property>
     <name>hadoop.tmp.dir</name>
     <value>file:/home/hadoop/tmp</value>
 </property>
 <!--  缓冲区大小，实际工作中根据服务器性能动态调整 -->
 <property>
     <name>io.file.buffer.size</name>
     <value>131072</value>
 </property>
 <!--  开启hdfs的垃圾桶机制，删除掉的数据可以从垃圾桶中回收，单位分钟 -->
 <property>
     <name>fs.trash.interval</name>
     <value>10080</value>
 </property>
 </configuration>

4）配置hdfs-site.xml。

在hdfs-site.xml文件中加入下面的代码：

<configuration>
 <!-- namenode存储hdfs名字的空间的元数据文件目录 -->
 <property>
     <name>dfs.namenode.name.dir</name>                   
     <value>file:/home/hadoop/dfs/name</value>
 </property>
 <!-- datanode上的一个数据块的物理的存储位置文件 -->
 <property>
     <name>dfs.datanode.data.dir</name>
     <value>file:/home/hadoop/dfs/data</value>
 </property>
 <!-- 指定HDFS保存数据副本的数量 -->
 <property>
     <name>dfs.replication</name>
     <value>3</value>
 </property>
 <!-- 设置一个block的大小：128M-->
 <property>
     <name>dfs.blocksize</name>
     <value>134217728</value>
 </property>
 <!-- 定义secondarynamenode的通信地址 -->
 <property>
     <name>dfs.namenode.secondary.http-address</name>
     <value>slave2:50071</value>
 </property>
 <!-- 设置HDFS的文件权限-->
 <property>
     <name>dfs.permissions</name>
     <value>false</value>
 </property>
 <!-- 指定DataNode的节点配置文件 -->
 <property>
     <name>dfs.hosts</name>
     <value>/home/hadoop/hadoop-3.1.3/etc/hadoop/workers</value>
 </property>
 </configuration>

5）配置workers。

在workers文件中加入下面的代码：

master
slave1
slave2

6）mapred-site.xml配置。

在mapred-site.xml文件中加入下面的代码：

<configuration>
 <!-- 指定 MapReduce 程序运行在 Yarn 上，表示MapReduce使用yarn框架 -->
 <property>
     <name>mapreduce.framework.name</name>
     <value>yarn</value>
 </property>
 <!-- 开启MapReduce小任务模式 -->
 <property>
     <name>mapreduce.job.ubertask.enable</name>
     <value>true</value>
 </property>
 <!-- 设置历史任务的主机和端口 -->
 <property>
     <name>mapreduce.jobhistory.address</name>
     <value>slave2:10020</value>
 </property>
 <!-- 设置网页访问历史任务的主机和端口 -->
 <property>
     <name>mapreduce.jobhistory.webapp.address</name>
     <value>slave2:19888</value>
 </property>
 </configuration>

7）配置yarn-site.xml。

在yarn-site.xml文件中加入下面的代码：

<configuration>
 <!-- Site specific YARN configuration properties -->
 <!-- NodeManager获取数据的方式shuffle -->
 <property>
     <name>yarn.nodemanager.aux-services</name>
     <value>mapreduce_shuffle</value>
 </property>
 <!-- yarn的web访问地址 -->
 <property>
     <description>
         The http address of the RM web application.
         If only a host is provided as the value,the webapp will be served on a random port.
     </description>
     <name>yarn.resourcemanager.webapp.address</name>
     <value>${yarn.resourcemanager.hostname}:8088</value>
 </property>
 <property>
     <description>
         The https address of the RM web application.
         If only a host is provided as the value,the webapp will be served on a random port.
     </description>
     <name>yarn.resourcemanager.webapp.https.address</name>
     <value>${yarn.resourcemanager.hostname}:8090</value>
 </property>
 <!-- 开启日志聚合功能，方便我们查看任务执行完成之后的日志记录 -->
 <property>
     <name>yarn.log-aggregation-enable</name>
     <value>true</value>
 </property>
 <!-- 设置聚合日志在hdfs上的保存时间 -->
 <property>
     <name>yarn.log-aggregation.retain-seconds</name>
     <value>604800</value>
 </property>
 </configuration>

第六步：集群启动

# 注意：如果集群是第一次启动，需要在Namenode所在节点格式化NameNode，非第一次不用执行格式化 Namenode 操作。

命令：hadoop namenode -format

  1. ## 启动hadoop

再 /home/hadoop/hadoop-3.1.3/sbin目录下执行

./start-all.sh

第七步：如何判断hadoop集群启动成功

1.Hadoop集群启用成功在虚拟机Hadoop中使用Jps命令有以下界面出现：

在这里插入图片描述

2.Hadoop可以访问50070界面 

 

Best_Liu~
关注
搭建hadoop+spark完全分布式集群环境
weixin_46305053的博客
07-13 1362
tar -zxvf jdk-8u181-linux-x64.tar.gz -C /home/hadoop/apps #解压到apps下。进入/home/hadoop/apps/hadoop-2.7.6/etc/Hadoop。sudo vi /etc/profile #修改配置文件。start-slaves.sh //启动从节点。start-master.sh //启动主节点。拷贝到slave1和slave2中。拷贝到slaves1,slaves中。//将其拷贝到其他机子上。
Hadoop集群搭建（分布式安装）
m0_56569058的博客
09-15 161
4、可靠性（Rellable）：能自动维护数据的多份复制，并且在任务失败后能自动地重新部署（redeploy）计算任务。1、扩容能力（Scalable）：Hadoop是在可用的计算机集群间分配数据并完成计算任务的，这些集群可用方便的扩展到数以千计的节点中。HADOOP_HOME=/home/hadoop/hadoop-3.3.6#你下载的对应的Hadoop版本号。3、高效率（Efficient）：通过并发数据，Hadoop可以在节点之间动态并行的移动数据，使得速度非常快。
Linux-Hadoop集群搭建详细简明教程
08-31
Linux 操作系统安装环境下Hadoop集群搭建详细简明教程
Linux 集群大全
最实用的Linux博客
10-25 7336
原贴：http://blog.chinaunix.net/u/13329/showart.php?id=121986 Linux 集群大全    
Linux搭建Hadoop集群（详细步骤）
最新发布
沃和莱特的博客
10-07 2227
Hadoop集群搭建
Linux搭建Hadoop集群
weixin_42383922的博客
01-12 268
环境准备 打开虚拟机网卡 vi /etc/sysconfig/network-scripts/ifcfg-ens33 关闭防火墙 systemctl stop firewalld 阻止防火墙自动启动 systemctl disable firewalld 查看SELinux状态并关闭 sestatus -v vi /etc/selinux/config(将编辑模式修改参数SE.........
在Linux中进行hadoop集群搭建
weixin_43268590的博客
08-26 2807
在公网IP为x.x.x.x、y.y.y.y和z.z.z.z并装有Centos8的服务器上进行hadoop集群搭建，都安装hadoop-3.1.3和server-jre-8u202-linux-x64。
linux搭建hadoop集群
weixin_52115456的博客
06-13 5175
  Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（ Distributed File System），其中一个组件是HDFS（Hadoop Distributed File System）。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据
linux 部署Hadoop完全分布式集群教程
qq_61247494的博客
10-06 1872
linux 部署Hadoop完全分布式集群教程
Hadoop搭建：完全分布式（Linux版本）(三阶段)
m0_53336038的博客
09-26 545
Hadoop搭建：完全分布式（Linux版本）(三阶段)
在Linux上搭建 伪分布式 -&amp;gt; 完全分布式hadoop集群
09-22
演示示例：Centos和Ubuntu
Linux下搭建Hadoop集群
Huhui's Blog
08-18 2382
本文地址： 1.前言 本文描述的是如何使用3台Hadoop节点搭建一个集群。本文中，使用的是三个Ubuntu虚拟机，并没有使用三台物理机。在使用物理机搭建Hadoop集群的时候，也可以参考本文。首先这3个节点要保证能相互连通，本文中，3个虚拟机的ip地址如下： Master 192.168.21.130 Slaver1 192.168.21.131 S
Linux操作系统——Hadoop集群搭建
m0_70381931的博客
05-22 1307
Hadoop是一个开源的分布式计算框架，用于处理大规模数据集的存储和处理。它基于Google的MapReduce和Google文件系统（GFS）的思想，并使用Java语言编写。Hadoop的主要特点是高可靠性、可扩展性和高效性。
超详细Linux搭建Hadoop集群
Sumuxi9797926的博客
11-03 1430
总纲：1、准备3台客户机（关闭防火墙、静态IP、主机名称都设置好）2、3、配置环境变量4、安装Hadoop5、配置hadoop的环境变量6、配置集群7、群起测试。
Linux下配置Hadoop全分布式环境
weixin_33736649的博客
03-03 95
1. 前提 部署全分布式环境，我们肯定不能在一台服务器上了，这里我用了7台服务器，在VMware上开了7个虚拟机，如下图所示： 我基本配置了一晚上才搞定，第一次配置一般都有错，这时候不妨去到hadoop的logs文件夹下查看日志，如果实在找不出来，索性把所有hadoop文件删掉，重新安装。     hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFS HA、YARN等...
linux的hadoop集群搭建
Hugh_Guan的博客
08-20 1030
centos系统 hadoop集群 最详细构建解读
linux hadoop集群搭建,hadoop集群搭建
weixin_29309475的博客
05-14 322
hadoop集群搭建步骤实验介绍下面将要在三台linux虚拟机上搭建hadoop集群。知识点linux基本命令集群安装完成实验需要以下相关知识解压命令tar -zxvf XX.tar.gz -C distvi编辑器的使用vi + file 打开一个文件，要想了解更多请了解vi编辑器的使用远程拷贝scp -r srcfile user@hostName:distpath实验前准备准备三台lin...
LINUX中HADOOP集群搭建
weixin_46011754的博客
11-23 593
1安装虚拟机 2基本配置 设置ip地址 重启网络服务 关闭防火墙 设置linux域名映射 修改主机中的域名映射 cd C:\Windows\System32\drivers\etc\hosts 3 在linux上安装jdk 虚拟机上安装未下载好的指令 一：虚拟机上安装jdk 1:上传jdk压缩包并解压 2:配置JAVA_HOME 刷新 查看是否部署成功 二： 虚拟机中安装tomcat 1: 上传tomcat压缩包 并解压 2:在tomcat的home目录的bin目录下执行./st
Hadoop集群搭建完全指南：从裸机到分布式
"该资源是一份关于从零开始搭建完全分布式Hadoop的教程，涵盖了从裸机准备到完全分布式模式的全过程。主要内容包括单机模式、伪分布式模式和完全分布式模式的搭建步骤，以及相关配置和环境变量设定。" 在搭建Hadoop...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值