hadoop2集群搭建

最新推荐文章于 2022-11-23 14:50:51 发布
最新推荐文章于 2022-11-23 14:50:51 发布
阅读量165 收藏
点赞数
文章标签： 大数据 运维 python
原文链接：https://my.oschina.net/u/1464779/blog/312073
版权

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

安装CDH5

一、说明

1. 本文档以四台机器为例搭建hadoop集群，各台机器的职责如下：

此集群主要包括Namenode HA和RresourceManager HA，这是本文重点所在。

 

　

hadoop1

hadoop2

hadoop3

hadoop4

NameNode

Y

Y

N

N

DataNode

N

N

Y

Y

JournalNode

Y

Y

Y

N

Zookeeper

Y

Y

Y

N

zkfc

Y

Y

N

N

ResourceManager

Y

Y

N

N

NodeManager

N

N

Y

Y

HistoryServer

N

Y

N

N

 

2. 系统准备

Linux版本Cent OS 6.5

由于系统默认单个进程打开的句柄数过低，所以首先要修改以下参数

/etc/security/limits.conf

hadoop   soft  nofile  131072

hadoop   hard  nofile  131072

 

/etc/security/limits.d/90-nproc.conf

hadoop    soft    nproc      unlimited

root       soft    nproc      unlimited

hadoop    hard    nproc      unlimited

注：

soft nproc: 可打开的文件描述符的最大数(软限制)

hard nproc： 可打开的文件描述符的最大数(硬限制)

soft nofile：单个用户可用的最大进程数量(软限制)

hard nofile：单个用户可用的最大进程数量(硬限制)

 

 

3. hadoop及zookeeper版本

hadoop版本：hadoop-2.3.0-cdh5.0.0.tar.gz

zookeeper版本：zookeeper-3.4.5-cdh5.0.0.tar.gz

 

4. 要提前配好ssh的无密码连接（用hadoop用户），在/etc/hosts中做好整个集群的hostname和ip的映射，以及安装JDK7，本文档不再详述。

cat /etc/hosts

127.0.0.1               localhost.localdomain localhost

::1             localhost6.localdomain6 localhost6

132.35.227.72 DSSBACKUP06 hadoop1

132.35.227.74 JCYW-BACKUP02 hadoop2

132.35.224.248 dssbackup2 hadoop3

132.35.224.249 dssbackup1 hadoop4

 

二、部署步骤

1. Zookeeper的配置

1.1 新建目录 /opt/beh-2.0.0, 以后整个hadoop生态的其他组件都将安装到此目录下。

  mkdir -p /opt/ beh-2.0.0

 

    新建名字为hadoop的用户

  useradd hadoop

    

将/opt/beh-2.0.0赋予hadoop用户

  chown -R hadoop:hadoop /opt/beh-2.0.0

 

1.2 将zookeeper-3.4.5-cdh5.0.0.tar.gz解压缩到/opt/beh-2.0.0下，并重命名为zookeeper。

 

1.3 修改zookeeper配置文件

/opt/beh-2.0.0/zookeeper/conf/zoo_sample.cfg 重名为zoo.cfg

   进入到conf目录下，执行：

     mv  zoo_sample.cfg  zoo.cfg

 

 修改zoo.cfg


 

1.4 将整个zookeeper目录分别复制hadoop1，hadoop2，hadoop3上。分别在hadoop1，hadoop2，hadoop3创建dataDir属性指定的目录，并在此目录下创建myid文件。

cd  /opt/beh-2.0.0/zookeeper/dataDir

vi myid

 

hadoop1上的myid里面写入值1

hadoop2上的myid里面写入值2

hadoop3上的myid里面写入值3

 

1.5 修改环境变量

vi  /etc/profile

   添加 

 $ZOOKEEPER_HOME=/opt/beh-2.0.0/zookeeper

 PATH=$ZOOKEEPER_HOME/bin:$PATH

source /etc/profile

 

 

1.6 在hadoop1，hadoop2，hadoop3上执行

chown -R hadoop /opt/beh-2.0.0/zookeeper

 

1.7 验证是否成功

分别在hadoop1，hadoop2，hadoop3上执行zkServer.sh start 

 

用jps命令查看进程QuorumPeerMain是否启动

2. Namenode HA的配置

2.1 将hadoop-2.3.0-cdh5.0.0.tar.gz解压到/opt/beh-2.0.0/下，并重命名为hadoop，

tar -zxvf hadoop-2.3.0-cdh5.0.0.tar.gz  ./

mv hadoop-2.3.0-cdh5.0.0 hadoop

 修改etc/hadoop/core-site.xml

 

<configuration>

  <property>

    <name>fs.defaultFS</name>

    <value>hdfs://beh</value>

  </property>

【beh是个逻辑名称，可以随意制定，它来自于hdfs-site.xml中的配置】

  

<property>

    <name>hadoop.tmp.dir</name>

    <value>/opt/beh-2.0.0/hadoop/tmp</value>

  </property>

【这里的路径默认是NameNode、DataNode、JournalNode等存放数据的公共目录。用户也可以自己单独指定这三类节点的目录。】

  

<property>

    <name>ha.zookeeper.quorum</name>

    <value>hadoop1:2181,hadoop2:2181,hadoop3:2181</value>

  </property>

【这里是ZooKeeper集群的地址和端口。注意，数量一定是奇数，且不少于三个节点】

  

<property>

    <name>io.file.buffer.size</name>

    <value>131072</value>

  </property>

缓冲区大小:io.file.buffer.size默认是4KB，作为hadoop缓冲区，用于hadoop读hdfs的文件和写hdfs的文件，还有map的输出都用到了这个缓冲区容量，对于现在的硬件很保守，可以设置为128k(131072),甚至是1M(太大了map和reduce任务可能会内存溢出)。

2.2 修改hdfs-site.xml

 

<configuration>

   

    <property>

        <name>dfs.nameservices</name>

        <value>beh</value>

    </property>

【这是此hdfs集群的逻辑名称】

 

    <property>

        <name>dfs.ha.namenodes.beh</name>

        <value>nn1,nn2</value>

    </property>

【这是两个namenode的逻辑名称，随意起名，相互不重复即可】

 

    <property>

        <name>dfs.namenode.rpc-address.beh.nn1</name>

        <value>hadoop1:9000</value>

    </property>

 

    <property>

        <name>dfs.namenode.http-address.beh.nn1</name>

        <value>hadoop1:50070</value>

    </property>

 

    <property>

        <name>dfs.namenode.rpc-address.beh.nn2</name>

        <value>hadoop2:9000</value>

    </property>

 

    <property>

        <name>dfs.namenode.http-address.beh.nn2</name>

        <value>hadoop2:50070</value>

    </property>

 

 

    <property>

        <name>dfs.namenode.shared.edits.dir</name>

          <value>qjournal://hadoop1:8485;hadoop2:8485;hadoop3:8485/beh</value>

</property>

dfs.namenode.shared.edits.dir共享存储目录的位置
这是配置备份节点需要随时保持同步活动节点所作更改的远程共享目录，你只能配置一个目录，这个目录挂载到两个namenode上都必须是可读写的，且必须是绝对路径。

 

 

    <property>

        <name>dfs.ha.automatic-failover.enabled.beh</name>

        <value>true</value>

    </property>

 

    <property>

        <name>dfs.client.failover.proxy.provider.beh</name>

        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>

    </property>

 

    <property>

        <name>dfs.journalnode.edits.dir</name>

        <value>/opt/beh-2.0.0/hadoop/journal</value>

    </property>

 

    <property>

        <name>dfs.ha.fencing.methods</name>

        <value>sshfence</value>

    </property>

 

    <property>

        <name>dfs.ha.fencing.ssh.private-key-files</name>

        <value>/home/hadoop/.ssh/id_rsa</value>

    </property>

 

    <property>

        <name>dfs.data.dir</name>

        <value>/hadoop_data/datafile/data</value>

 

    </property>

        <property>

                <name>dfs.block.size</name>

                <value> 134217728</value>

        </property>

【block大小可根据实际情况进行设置，此处为128M】

 

 

 

<property>

        <name>dfs.datanode.handler.count</name>

        <value>3</value>

    </property>

dfs.datanode.handler.count

datanode上用于处理RPC的线程数。默认为3，较大集群，可适当调大些，比如8。需要注意的是，每添加一个线程，需要的内存增加。

<property>

<name>dfs.namenode.handler.count</name>

<value>20</value>

</property>

 

<property>

        <name>dfs.datanode.max.xcievers</name>

        <value>131072</value>

    </property>

 

<property>

<name>dfs.datanode.socket.write.timeout</name>

<value>0</value>

</property>

 

<property>

<name>dfs.socket.timeout</name>

<value>180000</value>

</property>

 

 

<property>

       <name>dfs.replication</name>

       <value>1</value>

    </property>

 

</configuration>

 

2.3 编辑 /etc/hadoop/slaves

添加 hadoop3

 hadoop4

 

2.4 编辑/etc/profile

添加 HADOOP_HOME=/opt/beh-2.0.0/hadoop

 PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

将以上配置复制到所有节点

参考语句：

scp -r /opt/beh-2.0.0/hadoop/ hadoop@132.35.227.74:/opt/beh-2.0.0/

scp -r /opt/beh-2.0.0/hadoop/ hadoop@132.35.224.248:/opt/beh-2.0.0/

scp -r /opt/beh-2.0.0/hadoop/ hadoop@132.35.224.249:/opt/beh-2.0.0/

 

 

2.5 启动各项服务

2.5.1 启动journalnode

 

在hadoop1、hadoop2、hadoop3上执行hadoop-daemon.sh start journalnode


2.5.2 格式化zookeeper

在hadoop1上执行hdfs  zkfc  -formatZK

 

2.5.3 对hadoop1节点进行格式化和启动

hdfs  namenode  -format

hadoop-daemon.sh  start  namenode

 

2.5.4 对hadoop2节点进行格式化和启动

hdfs  namenode  -bootstrapStandby

    hadoop-daemon.sh  start  namenode

 

 

 

2.5.5 在hadoop1和hadoop2上启动zkfc服务

hadoop-daemon.sh   start   zkfc

 

此时hadoop1和hadoop2就会有一个节点变为active状态。

 

2.5.6 启动datanode

在hadoop1上执行命令hadoop-daemons.sh   start   datanode

 

2.5.7 验证是否成功

打开浏览器，访问 hadoop1:50070 以及 hadoop2:50070，你将会看到两个namenode一个是active而另一个是standby。

(参考网址http://132.35.227.72:50070）

然后kill掉其中active的namenode进程，另一个standby的naemnode将会自动转换为active状态。

kill -9 19856


 

 


测试过，上面的步骤完全正确。

 

3. ResourceManager HA的配置

3.1 修改mapred-site.xml

<configuration>

 

  <property>

    <name>mapreduce.framework.name</name>

    <value>yarn</value>

  </property>

 

 

<!-- configure historyserver -->

  <property>

    <name>mapreduce.jobhistory.address</name>

    <value>hadoop2:10020</value>

  </property>

 

<property>

    <name>mapreduce.jobhistory.webapp.address</name>

    <value>hadoop2:19888</value>

</property>

 

<!-- configure staging directory -->

  <property>

    <name>yarn.app.mapreduce.am.staging-dir</name>

    <value>/user</value>

  </property>

 

<!--optimize-->

 

  <property>

    <name>mapred.child.java.opts</name>

    <value>-Xmx2g</value>

  </property>

  <property>

    <name>io.sort.mb</name>

    <value>512</value>

  </property>

  <property>

    <name>io.sort.factor</name>

    <value>20</value>

  </property>

 

  <property>

    <name>mapred.job.reuse.jvm.num.tasks</name>

    <value>-1</value>

  </property>

 

  <property>

    <name>mapreduce.reduce.shuffle.parallelcopies</name>

    <value>20</value>

  </property>

 

</configuration>

 

 

3.2 修改yarn-site.xml

<configuration>

 

  <property>

    <name>yarn.nodemanager.aux-services</name>

    <value>mapreduce_shuffle</value>

  </property>

 

  <property>

    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

    <value>org.apache.hadoop.mapred.ShuffleHandler</value>

  </property>

 

  <property>

    <name>yarn.nodemanager.local-dirs</name>

    <value>/opt/beh-2.0.0/hadoop/nmdir</value>

  </property>

 

  <property>

    <name>yarn.nodemanager.log-dirs</name>

    <value>/opt/beh-2.0.0/hadoop/logs</value>

  </property>

 

  <property>

    <name>yarn.log-aggregation-enable</name>

    <value>true</value>

  </property> 

 

  <property>

    <description>Where to aggregate logs</description>

    <name>yarn.nodemanager.remote-app-log-dir</name>

    <value>hdfs://beh/var/log/hadoop-yarn/apps</value>

  </property>

 

  <!-- Resource Manager Configs -->

  <property>

    <name>yarn.resourcemanager.connect.retry-interval.ms</name>

    <value>2000</value>

  </property>

 

  <property>

    <name>yarn.resourcemanager.ha.enabled</name>

    <value>true</value>

  </property>

 

  <property>

    <name>yarn.resourcemanager.ha.automatic-failover.enabled</name>

    <value>true</value>

  </property>

 

  <property>

    <name>yarn.resourcemanager.ha.automatic-failover.embedded</name>

    <value>true</value>

  </property>

 

  <property>

    <name>yarn.resourcemanager.cluster-id</name>

    <value>beh</value>

  </property>

 

  <property>

    <name>yarn.resourcemanager.ha.rm-ids</name>

    <value>rm1,rm2</value>

  </property>

 

  <property>

    <name>yarn.resourcemanager.ha.id</name>

    <value>rm1</value>

  </property>

 

  <property>

    <name>yarn.resourcemanager.scheduler.class</name>

    <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>

  </property>

 

  <property>

    <name>yarn.resourcemanager.recovery.enabled</name>

    <value>true</value>

  </property>

 

 

  <property>

    <name>yarn.resourcemanager.store.class</name>

    <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>

  </property>

 

  <property>

    <name>yarn.resourcemanager.zk.state-store.address</name>

    <value>hadoop1:2181,hadoop2:2181,hadoop3:2181</value>

  </property>

 

  <property>

    <name>yarn.app.mapreduce.am.scheduler.connection.wait.interval-ms</name>

    <value>5000</value>

  </property>

 

  <!-- RM1 configs -->

 

  <property>

    <name>yarn.resourcemanager.address.rm1</name>

    <value>hadoop1:23140</value>

  </property>

 

  <property>

    <name>yarn.resourcemanager.scheduler.address.rm1</name>

    <value>hadoop1:23130</value>

  </property>

 

  <property>

    <name>yarn.resourcemanager.webapp.https.address.rm1</name>

    <value>hadoop1:23189</value>

  </property>

 

  <property>

    <name>yarn.resourcemanager.webapp.address.rm1</name>

    <value>hadoop1:23188</value>

  </property>

 

  <property>

    <name>yarn.resourcemanager.resource-tracker.address.rm1</name>

    <value>hadoop1:23125</value>

  </property>

 

  <property>

    <name>yarn.resourcemanager.admin.address.rm1</name>

    <value>hadoop1:23141</value>

  </property>

 

<!-- RM2 configs -->

 

  <property>

    <name>yarn.resourcemanager.address.rm2</name>

    <value>hadoop2:23140</value>

  </property>

 

  <property>

    <name>yarn.resourcemanager.scheduler.address.rm2</name>

    <value>hadoop2:23130</value>

  </property>

 

  <property>

    <name>yarn.resourcemanager.webapp.https.address.rm2</name>

    <value>hadoop2:23189</value>

  </property>

 

  <property>

    <name>yarn.resourcemanager.webapp.address.rm2</name>

    <value>hadoop2:23188</value>

  </property>

 

  <property>

    <name>yarn.resourcemanager.resource-tracker.address.rm2</name>

    <value>hadoop2:23125</value>

  </property>

 

  <property>

    <name>yarn.resourcemanager.admin.address.rm2</name>

    <value>hadoop2:23141</value>

 

  </property>

 

<!-- Node Manager Configs -->

  <property>

    <description>Address where the localizer IPC is.</description>

    <name>yarn.nodemanager.localizer.address</name>

    <value>0.0.0.0:23344</value>

  </property>

 

  <property>

    <description>NM Webapp address.</description>

    <name>yarn.nodemanager.webapp.address</name>

    <value>0.0.0.0:23999</value>

  </property>

 

  <property>

    <name>yarn.nodemanager.local-dirs</name>

    <value>/opt/beh-2.0.0/hadoop/nodemanager/yarn/local</value>

  </property>

 

  <property>

    <name>yarn.nodemanager.log-dirs</name>

    <value>/opt/beh-2.0.0/hadoop/nodemanager/yarn/log</value>

  </property>

 

  <property>

    <name>mapreduce.shuffle.port</name>

    <value>23080</value>

  </property>

 

  <property>

    <name>yarn.resourcemanager.zk-address</name>

    <value>hadoop1:2181,hadoop2:2181,hadoop3:2181</value>

  </property>

 

</configuration>

 

3.3 将配置文件分发至各节点。

参考语句：

scp -r /opt/beh-2.0.0/hadoop/etc/hadoop/mapred-site.xml hadoop@132.35.227.74:/opt/beh-2.0.0/hadoop/etc/hadoop/

scp -r /opt/beh-2.0.0/hadoop/etc/hadoop/mapred-site.xml hadoop@132.35.224.248:/opt/beh-2.0.0/hadoop/etc/hadoop/

 

scp -r /opt/beh-2.0.0/hadoop/etc/hadoop/mapred-site.xml hadoop@132.35.224.249:/opt/beh-2.0.0/hadoop/etc/hadoop/

 

 

scp -r /opt/beh-2.0.0/hadoop/etc/hadoop/yarn-site.xml hadoop@132.35.227.74:/opt/beh-2.0.0/hadoop/etc/hadoop/

scp -r /opt/beh-2.0.0/hadoop/etc/hadoop/yarn-site.xml hadoop@132.35.224.248:/opt/beh-2.0.0/hadoop/etc/hadoop/

 

scp -r /opt/beh-2.0.0/hadoop/etc/hadoop/yarn-site.xml hadoop@132.35.224.249:/opt/beh-2.0.0/hadoop/etc/hadoop/

 

 

 

3.4 修改hadoop2上的yarn-site.xml

修改为下面的值：

<property>

    <name>yarn.resourcemanager.ha.id</name>

    <value>rm2</value>

  </property>

 

3.5 创建目录并赋予权限

3.5.1在所有的nodemanager上创建本地目录（hadoop3，hadoop4）

mkdir -p /opt/beh-2.0.0/hadoop/nmdir

mkdir -p /opt/beh-2.0.0/hadoop/logs

chown -R hadoop:hadoop /opt/beh-2.0.0/hadoop/nmdir

chown -R hadoop:hadoop /opt/beh-2.0.0/hadoop/logs

 

3.5.2 启动hdfs后，执行下列命令

hadoop fs -mkdir -p /user/history

hadoop fs -chmod -R 777 /user/history

hadoop fs -chown hadoop:hadoop /user/history 

 

创建log目录

hadoop fs -mkdir -p /var/log/hadoop-yarn

hadoop fs -chown hadoop:hadoop /var/log/hadoop-yarn

 

创建hdfs下的/tmp

如果不创建/tmp按照指定的权限，那么CDH的其他组件将会有问题。尤其是，如果不创建的话，其他进程会以严格的权限自动创建这个目录，这样就会影响到其他程序适用。

hadoop fs -mkdir /tmp

hadoop fs -chmod -R 777 /tmp

 

 

3.6 启动yarn 和 jobhistory server

3.6.1 在hadoop1上启动：

 

sbin/start-yarn.sh

 

此脚本将会启动hadoop1上的resourcemanager及所有的nodemanager。

 

3.6.2 在hadoop2上启动resourcemanager：

 

yarn-daemon.sh start resourcemanager

 

3.6.3 在hadoop2上启动jobhistory server

 

sbin/mr-jobhistory-daemon.sh start historyserver

 

 

3.7 验证是否配置成功。

 

打开浏览器，访问hadoop1:23188或者hadoop2:23188，应该能看到类似如下界面。只有active的会打开如下界面，standby的那个不会看到页面。


然后kill掉active的resourcemanager另一个将会变为active的，说明resourcemanager HA是成功的。

 

4. 关于重新格式化namenode

 

如果要重新格式化namenode，那么首先要停掉所有相关的服务

1）删掉$HADOOP_HOME/tmp 下的之前的格式化的信息

2）删掉datanode上$HADOOP_HOME/current文件夹，如果有的话。

3）在hdfs-site.xml找着dfs.data.dir属性，此属性的value中配置的目录都要清空，这是datanode存放数据的地方。

4）执行格式化

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

转载于:https://my.oschina.net/u/1464779/blog/312073

weixin_34116110
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
（一主二从）Hadoop集群搭建
iceyerboy的博客
05-09 837
时代的
云计算hadoop2集群搭建过程
11-11
云计算hadoop2集群搭建过程，参考，没在生产环境测试过！
Hadoop2.0 集群环境的搭建
weixin_50393358的博客
07-11 373
#1 Linux 操作系统的设置 1.1 设置服务器的 HOSTNAME vi /etc/sysconfig/network 1.2 配置网卡参数 vi /etc/sysconfig/network-scripts/ifcfg-eth0 还要重启网卡 1.3 设置 host 映射文件 vi /etc/hosts 1.4 关闭防火墙 service iptables stop chkconfig iptables off 1.5 关闭 SELINUX vi /etc/selinux/config 1.6 修改
Hadoop 2分布式集群环境搭建
weixin_42738879的博客
11-03 871
一台Ubuntu主机作Master,一台Ubuntu主机做slave01,一台Ubuntu主机做slave02。三台主机机器处于同一局域网下。 修改三台机器的/etc/hosts文件,添加同样的配置： sudo vim /etc/hosts 192.168.0.10 master 192.168.0.11 slave01 192.168.0.12 slave02 配置ssh无密码登录本机和访问集群机器 在三台虚拟机中，使用以下命令安装 ssh： sudo apt-get install o
hadoop2.x集群搭建
號先生的博客
07-20 2723
hadoop2.x集群搭建 1.准备Linux环境 1.0 配置好各虚拟机的网络（采用NAT联网模式） 第一种：通过Linux图形界面进行修改(桌面版本Centos) 进入Linux图形界面 -&gt; 右键点击右上方的两个小电脑 -&gt; 点击Edit connections -&gt; 选中当前网络System eth0 -&gt; 点击edit...
Hadoop2.0高可用集群搭建【保姆级教程】
Charon_byc的博客
10-15 1406
Hadoop高可用集群搭建
hadoop2集群搭建视频.zip
02-28
在IT行业中，Hadoop是一个广泛使用的开源框架，用于处理和存储大规模数据集。这个压缩包文件"had oo
hadoop2集群搭建详细过程
09-15
【标题】：“Hadoop2集群搭建详细过程” 【描述】：该文主要介绍了如何搭建Hadoop2集群，特别强调了实现NameNode的高可用（HA）和ResourceManager的HA，这两个特性对于确保集群的稳定性和数据安全性至关重要。 ...
hadoop2.2.0集群搭建
07-23
资源名称：hadoop2.2.0集群搭建   资源太大，传百度网盘了，链接在附件中，有需要的同学自取。
Hadoop3.2.0集群搭建常见注意事项
01-09
在搭建Hadoop 3.2.0集群时，有几点重要的注意事项需要关注，以确保...如果你对腾讯云上的Hadoop集群、基于ZooKeeper的高可用集群搭建，或者使用Docker部署Hadoop环境感兴趣，可以查阅相关教程，以获取更深入的指导。
Hadoop集群2
saddwe的博客
11-23 549
笔记
搭建Hadoop完全分布式集群2
m0_59186440的博客
12-27 1044
https://blog.csdn.net/m0_59186440/article/details/122170209https://blog.csdn.net/m0_59186440/article/details/122170209前文链接 前面一节我们完成了虚拟机的安装，下面我们进行配置 vi /etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE=eth0 HWADDR=00:0C:29:16:AB:34 TYP...
Hadoop2.x部署之完全分布式集群环境搭建
不清不慎的博客
03-31 1937
一、分布式部署概述 Hadoop环境的搭建有三种方式： 本地环境搭建 伪分布式环境搭建 完全分布式环境搭建集群 在前面的文章中，详细描述了如何搭建本地环境【https://blog.csdn.net/qq_37142346/article/details/78927584】及伪分布式环境【https://blog....
hadoop2.x完全分布式集群搭建
qq_44125155的博客
09-22 619
hadoop2完全分布式配置
linux集群搭建过程,Hadoop2集群搭建过程
weixin_42525582的博客
05-14 80
在这里我选用4台机器进行示范，各台机器的职责如下表格所示(说明： 1. ZooKeepe使用其它节点的 2. Hadoop0节点安装所有的master, ha的matster全部是worker, 以达到较高的资源利用率，又对master的负载不会过高)Hadoop0 -> dchadoop206Hadoop1 -> dchadoop207Hadoop2 -> dchadoop2...
Hadoop2集群搭建
01-15 436
在这里我们选用4台机器进行示范，各台机器的职责如下表格所示   master slave1 slave 2 slave 3 是NameNode吗? 是，属集群cluster1 是，属集群cluster1 是，属集群cluster2 是，属集群cluster2 是Da
第五节 Hadoop 2.0 高可用集群搭建(最详细版本)
云深不知处
09-30 1214
Hadoop Ha 高可用集群搭建最详细版本 包括各种组件的配置。以及操作步骤
基于原生态hadoop2.7.9 HA集群搭建
程序人生
06-23 1135
1. 条件准备 软件准备： Centos 7.2 64位操作系统,jdk1.8 64位, hadoop2.7.9,zookeeper 3.4.9,Hive 2.2 硬件条件：(Vmware虚拟机)1台主节点机器, 配置cpu 1个 内存2g 硬盘50G2台从节点机器,其中一台内存为2G，其他配置一样 各个节点IP如下：服务器名字 Ip地址 备注（为方便操作将hostname改为如下） hado...
Hadoop常用端口号和配置文件
cipay666的博客
10-19 564
Hadoop常用端口号 dfs.namenode.http-address:50070 dfs.datanode.http-address:50075 SecondaryNameNode辅助名称节点端口号：50090 dfs.datanode.address:50010 fs.defaultFS:8020 或者9000 yarn.resourcemanager.webapp.address:8088 历史服务器web访问端口：19888 4.2.2 Hadoop配置文件以及简单的Hadoop集
hadoop集群搭建详细教程.docx
最新发布
10-09
本篇文档是一份Hadoop 1.0集群搭建的详细教程，适合已经具备Linux环境并安装好Java的读者。以下是主要步骤的详细说明： 1. **准备工作**： - 确保已经在Linux环境下安装并配置好Java Development Kit (JDK)。如果...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值