【大数据】HDFS,YARN,HADOOP集群部署

最新推荐文章于 2024-04-27 23:53:24 发布
最新推荐文章于 2024-04-27 23:53:24 发布
阅读量1k 收藏 10
点赞数 6
文章标签： hadoop 集群 zookeeper集群 ha集群
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010412629/article/details/88924428
版权

 

1:准备好环境包
[root@hadoop001 data]# ll
总用量 532404
-rw-r--r-- 1 root root  42610549 3月  31 09:22 hadoop-2.6.0-cdh5.7.0-src.tar.gz
-rw-r--r-- 1 root root 311585484 3月  31 09:24 hadoop-2.6.0-cdh5.7.0.tar.gz
-rw-r--r-- 1 root root 173271626 3月  31 09:23 jdk-8u45-linux-x64.gz
-rw-r--r-- 1 root root  17699306 3月  31 09:23 zookeeper-3.4.6.tar.gz
1:创建hadoop用户
[root@hadoop001 ~]# which useradd
/usr/sbin/useradd
[root@hadoop001 ~]# useradd hadoop
[root@hadoop001 ~]# su - hadoop
[hadoop@hadoop001 ~]$ mkdir app

[root@hadoop001 data]# ll
总用量 532404
-rw-r--r-- 1 root root  42610549 3月  31 09:22 hadoop-2.6.0-cdh5.7.0-src.tar.gz
-rw-r--r-- 1 root root 311585484 3月  31 09:24 hadoop-2.6.0-cdh5.7.0.tar.gz
-rw-r--r-- 1 root root 173271626 3月  31 09:23 jdk-8u45-linux-x64.gz
-rw-r--r-- 1 root root  17699306 3月  31 09:23 zookeeper-3.4.6.tar.gz
[root@hadoop001 data]# mv * /home/hadoop/app/

1:配置多用户ssh信任关系
[hadoop@hadoop001 ~]$ rm -rf .ssh
[hadoop@hadoop001 ~]$ ssh-keygen
都是回车
[hadoop@hadoop001 ~]$ cd .ssh
[hadoop@hadoop001 .ssh]$ ll
total 8
-rw------- 1 hadoop hadoop 1675 Mar 31 10:43 id_rsa
-rw-r--r-- 1 hadoop hadoop  398 Mar 31 10:43 id_rsa.pub

[hadoop@hadoop001 .ssh]$ cat id_rsa.pub >> authorized_keys

[hadoop@hadoop002 ~]$ scp .ssh/id_rsa.pub root@172.16.121.228:/home/hadoop/.ssh/id_rsa2

[hadoop@hadoop001 .ssh]$ ll
total 20
-rw-rw-r-- 1 hadoop hadoop  398 Mar 31 10:48 authorized_keys
-rw------- 1 hadoop hadoop 1675 Mar 31 10:43 id_rsa
-rw-r--r-- 1 root   root    398 Mar 31 10:54 id_rsa2
-rw-r--r-- 1 root   root    398 Mar 31 10:56 id_rsa3
-rw-r--r-- 1 hadoop hadoop  398 Mar 31 10:43 id_rsa.pub

[hadoop@hadoop001 .ssh]$ cat id_rsa2 >> authorized_keys 
[hadoop@hadoop001 .ssh]$ cat id_rsa3 >> authorized_keys

[hadoop@hadoop001 .ssh]$ exit 

[root@hadoop001 ~]# vi /etc/hosts

172.16.121.228  hadoop001       hadoop001
172.16.121.227  hadoop002       hadoop002
172.16.121.229  hadoop003       hadoop003

[root@hadoop001 ~]# su - hadoop

[hadoop@hadoop001 ~]$ scp .ssh/authorized_keys root@hadoop002:/home/hadoop/.ssh/
[hadoop@hadoop001 ~]$ scp .ssh/authorized_keys root@hadoop003:/home/hadoop/.ssh/

验证权限
[hadoop@hadoop001 ~]$ ssh hadoop001 date
[hadoop@hadoop001 .ssh]$ chmod 600 authorized_keys 

[hadoop@hadoop002 .ssh]$ ssh hadoop001 date
Sun Mar 31 11:15:18 CST 2019
[hadoop@hadoop002 .ssh]$ ssh hadoop002 date
Sun Mar 31 11:15:21 CST 2019
[hadoop@hadoop002 .ssh]$ ssh hadoop003 date
Sun Mar 31 11:15:25 CST 2019

1:jdk部署

[root@hadoop001 ~]# mkdir /usr/java

[root@hadoop001 ~]# tar -zxvf /home/hadoop/app/jdk-8u45-linux-x64.gz -C /usr/java/
[root@hadoop001 usr]# chown -R root:root /usr/java/

[hadoop@hadoop001 zookeeper]$ vi ~/.bash_profile 

export JAVA_HOME=/usr/java/jdk1.8.0_45/
PATH=$JAVA_HOME/bin:$PATH:$HOME/bin

export PATH

1:防火墙
[root@hadoop001 usr]# service iptables status
iptables: Firewall is not running.

[root@hadoop001 usr]# service iptables status
iptables: Firewall is not running.
[root@hadoop001 usr]# iptables -L
Chain INPUT (policy ACCEPT)
target     prot opt source               destination         

Chain FORWARD (policy ACCEPT)
target     prot opt source               destination         

Chain OUTPUT (policy ACCEPT)
target     prot opt source               destination         

[root@hadoop001 usr]# iptables -F
1:部署zookeeper
[root@hadoop001 ~]# su - hadoop
[hadoop@hadoop001 ~]$ cd app/

[hadoop@hadoop001 app]$ tar -zxvf zookeeper-3.4.6.tar.gz 

创建软连接
[hadoop@hadoop001 app]$ ln -s /home/hadoop/app/zookeeper-3.4.6 /home/hadoop/app/zookeeper

[hadoop@hadoop001 app]$ cd zookeeper
[hadoop@hadoop001 zookeeper]$ cd conf/
[hadoop@hadoop001 conf]$ cp zoo_sample.cfg zoo.cfg 

[hadoop@hadoop001 zookeeper]$ mkdir data

[hadoop@hadoop001 conf]$ vi zoo.cfg 
dataDir=/home/hadoop/app/zookeeper/data

server.1=hadoop001:2888:3888
server.2=hadoop002:2888:3888
server.3=hadoop003:2888:3888

[hadoop@hadoop001 zookeeper]$ touch data/myid
[hadoop@hadoop001 zookeeper]$ echo 1 > data/myid 
[hadoop@hadoop001 zookeeper]$ scp conf/zoo.cfg hadoop002:/home/hadoop/app/zookeeper/conf/
[hadoop@hadoop001 zookeeper]$ scp conf/zoo.cfg hadoop003:/home/hadoop/app/zookeeper/conf/

[hadoop@hadoop001 zookeeper]$ scp -r data/ hadoop002:/home/hadoop/app/zookeeper
[hadoop@hadoop001 zookeeper]$ scp -r data/ hadoop003:/home/hadoop/app/zookeeper

[hadoop@hadoop002 data]$ echo 2 > myid
[hadoop@hadoop003 data]$ echo 3 > myid

启动zookeeper
[hadoop@hadoop003 zookeeper]$ cd bin/

[hadoop@hadoop001 zookeeper]$ vi ~/.bash_profile 

export JAVA_HOME=/usr/java/jdk1.8.0_45
export ZOOKEEPER_HOME=/home/hadoop/app/zookeeper
PATH=$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin:$PATH:$HOME/bin

export PATH


[hadoop@hadoop001 bin]$ ./zkServer.sh start


效果
[hadoop@hadoop001 bin]$ zkServer.sh status
JMX enabled by default
Using config: /home/hadoop/app/zookeeper/bin/../conf/zoo.cfg
Mode: follower

[hadoop@hadoop002 bin]$ zkServer.sh status
JMX enabled by default
Using config: /home/hadoop/app/zookeeper/bin/../conf/zoo.cfg
Mode: leader

[hadoop@hadoop003 bin]$ zkServer.sh status
JMX enabled by default
Using config: /home/hadoop/app/zookeeper/bin/../conf/zoo.cfg
Mode: follower

 

hadoop配置文件之core-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<!--Yarn 需要使用 fs.defaultFS 指定NameNode URI -->
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://ruozeclusterg6</value>
        </property>
        <!--==============================Trash机制======================================= -->
        <property>
                <!--多长时间创建CheckPoint NameNode截点上运行的CheckPointer 从Current文件夹创建CheckPoint;默认：0 由fs.trash.interval项指定 -->
                <name>fs.trash.checkpoint.interval</name>
                <value>0</value>
        </property>
        <property>
                <!--多少分钟.Trash下的CheckPoint目录会被删除,该配置服务器设置优先级大于客户端，默认：0 不删除 -->
                <name>fs.trash.interval</name>
                <value>1440</value>
        </property>

         <!--指定hadoop临时目录, hadoop.tmp.dir 是hadoop文件系统依赖的基础配置，很多路径都依赖它。如果hdfs-site.xml中不配 置namenode和datanode的存放位置，默认就放在这>个路径中 -->
        <property>   
                <name>hadoop.tmp.dir</name>
                <value>/home/hadoop/app/hadoop-2.6.0-cdh5.7.0/tmp</value>
        </property>

         <!-- 指定zookeeper地址 -->
        <property>
                <name>ha.zookeeper.quorum</name>
                <value>hadoop001:2181,hadoop002:2181,hadoop003:2181</value>
        </property>
         <!--指定ZooKeeper超时间隔，单位毫秒 -->
        <property>
                <name>ha.zookeeper.session-timeout.ms</name>
                <value>2000</value>
        </property>

        <property>
           <name>hadoop.proxyuser.hadoop.hosts</name>
           <value>*</value> 
        </property> 
        <property> 
            <name>hadoop.proxyuser.hadoop.groups</name> 
            <value>*</value> 
       </property> 


      <property>
		  <name>io.compression.codecs</name>
		  <value>org.apache.hadoop.io.compress.GzipCodec,
			org.apache.hadoop.io.compress.DefaultCodec,
			org.apache.hadoop.io.compress.BZip2Codec,
			org.apache.hadoop.io.compress.SnappyCodec
		  </value>
      </property>
</configuration>

 

hadoop配置文件之hdfs-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<!--HDFS超级用户 -->
	<property>
		<name>dfs.permissions.superusergroup</name>
		<value>hadoop</value>
	</property>

	<!--开启web hdfs -->
	<property>
		<name>dfs.webhdfs.enabled</name>
		<value>true</value>
	</property>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>/home/hadoop/app/hadoop-2.6.0-cdh5.7.0/data/dfs/name</value>
		<description> namenode 存放name table(fsimage)本地目录（需要修改）</description>
	</property>
	<property>
		<name>dfs.namenode.edits.dir</name>
		<value>${dfs.namenode.name.dir}</value>
		<description>namenode粗放 transaction file(edits)本地目录（需要修改）</description>
	</property>
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>/home/hadoop/app/hadoop-2.6.0-cdh5.7.0/data/dfs/data</value>
		<description>datanode存放block本地目录（需要修改）</description>
	</property>
	<property>
		<name>dfs.replication</name>
		<value>3</value>
	</property>
	<!-- 块大小256M （默认128M） -->
	<property>
		<name>dfs.blocksize</name>
		<value>268435456</value>
	</property>
	<!--======================================================================= -->
	<!--HDFS高可用配置 -->
	<!--指定hdfs的nameservice为ruozeclusterg6,需要和core-site.xml中的保持一致 -->
	<property>
		<name>dfs.nameservices</name>
		<value>ruozeclusterg6</value>
	</property>
	<property>
		<!--设置NameNode IDs 此版本最大只支持两个NameNode -->
		<name>dfs.ha.namenodes.ruozeclusterg6</name>
		<value>nn1,nn2</value>
	</property>

	<!-- Hdfs HA: dfs.namenode.rpc-address.[nameservice ID] rpc 通信地址 -->
	<property>
		<name>dfs.namenode.rpc-address.ruozeclusterg6.nn1</name>
		<value>hadoop001:8020</value>
	</property>
	<property>
		<name>dfs.namenode.rpc-address.ruozeclusterg6.nn2</name>
		<value>hadoop002:8020</value>
	</property>

	<!-- Hdfs HA: dfs.namenode.http-address.[nameservice ID] http 通信地址 -->
	<property>
		<name>dfs.namenode.http-address.ruozeclusterg6.nn1</name>
		<value>hadoop001:50070</value>
	</property>
	<property>
		<name>dfs.namenode.http-address.ruozeclusterg6.nn2</name>
		<value>hadoop002:50070</value>
	</property>

	<!--==================Namenode editlog同步 ============================================ -->
	<!--保证数据恢复 -->
	<property>
		<name>dfs.journalnode.http-address</name>
		<value>0.0.0.0:8480</value>
	</property>
	<property>
		<name>dfs.journalnode.rpc-address</name>
		<value>0.0.0.0:8485</value>
	</property>
	<property>
		<!--设置JournalNode服务器地址，QuorumJournalManager 用于存储editlog -->
		<!--格式：qjournal://<host1:port1>;<host2:port2>;<host3:port3>/<journalId> 端口同journalnode.rpc-address -->
		<name>dfs.namenode.shared.edits.dir</name>
		<value>qjournal://hadoop001:8485;hadoop002:8485;hadoop003:8485/ruozeclusterg6</value>
	</property>

	<property>
		<!--JournalNode存放数据地址 -->
		<name>dfs.journalnode.edits.dir</name>
		<value>/home/hadoop/app/hadoop-2.6.0-cdh5.7.0/data/dfs/jn</value>
	</property>
	<!--==================DataNode editlog同步 ============================================ -->
	<property>
		<!--DataNode,Client连接Namenode识别选择Active NameNode策略 -->
                             <!-- 配置失败自动切换实现方式 -->
		<name>dfs.client.failover.proxy.provider.ruozeclusterg6</name>
		<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
	</property>
	<!--==================Namenode fencing：=============================================== -->
	<!--Failover后防止停掉的Namenode启动，造成两个服务 -->
	<property>
		<name>dfs.ha.fencing.methods</name>
		<value>sshfence</value>
	</property>
	<property>
		<name>dfs.ha.fencing.ssh.private-key-files</name>
		<value>/home/hadoop/.ssh/id_rsa</value>
	</property>
	<property>
		<!--多少milliseconds 认为fencing失败 -->
		<name>dfs.ha.fencing.ssh.connect-timeout</name>
		<value>30000</value>
	</property>

	<!--==================NameNode auto failover base ZKFC and Zookeeper====================== -->
	<!--开启基于Zookeeper  -->
	<property>
		<name>dfs.ha.automatic-failover.enabled</name>
		<value>true</value>
	</property>
	<!--动态许可datanode连接namenode列表 -->
	 <property>
	   <name>dfs.hosts</name>
	   <value>/home/hadoop/app/hadoop-2.6.0-cdh5.7.0/etc/hadoop/slaves</value>
	 </property>
</configuration>

hadoop配置文件之mapred-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<!-- 配置 MapReduce Applications -->
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
	<!-- JobHistory Server ============================================================== -->
	<!-- 配置 MapReduce JobHistory Server 地址 ，默认端口10020 -->
	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>hadoop001:10020</value>
	</property>
	<!-- 配置 MapReduce JobHistory Server web ui 地址， 默认端口19888 -->
	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>hadoop001:19888</value>
	</property>

<!-- 配置 Map段输出的压缩,snappy-->
  <property>
      <name>mapreduce.map.output.compress</name> 
      <value>true</value>
  </property>
              
  <property>
      <name>mapreduce.map.output.compress.codec</name> 
      <value>org.apache.hadoop.io.compress.SnappyCodec</value>
   </property>

</configuration>

 

hadoop配置文件之yarn-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<!-- nodemanager 配置 ================================================= -->
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
		<value>org.apache.hadoop.mapred.ShuffleHandler</value>
	</property>
	<property>
		<name>yarn.nodemanager.localizer.address</name>
		<value>0.0.0.0:23344</value>
		<description>Address where the localizer IPC is.</description>
	</property>
	<property>
		<name>yarn.nodemanager.webapp.address</name>
		<value>0.0.0.0:23999</value>
		<description>NM Webapp address.</description>
	</property>

	<!-- HA 配置 =============================================================== -->
	<!-- Resource Manager Configs -->
	<property>
		<name>yarn.resourcemanager.connect.retry-interval.ms</name>
		<value>2000</value>
	</property>
	<property>
		<name>yarn.resourcemanager.ha.enabled</name>
		<value>true</value>
	</property>
	<property>
		<name>yarn.resourcemanager.ha.automatic-failover.enabled</name>
		<value>true</value>
	</property>
	<!-- 使嵌入式自动故障转移。HA环境启动，与 ZKRMStateStore 配合 处理fencing -->
	<property>
		<name>yarn.resourcemanager.ha.automatic-failover.embedded</name>
		<value>true</value>
	</property>
	<!-- 集群名称，确保HA选举时对应的集群 -->
	<property>
		<name>yarn.resourcemanager.cluster-id</name>
		<value>yarn-cluster</value>
	</property>
	<property>
		<name>yarn.resourcemanager.ha.rm-ids</name>
		<value>rm1,rm2</value>
	</property>


    <!--这里RM主备结点需要单独指定,（可选）
	<property>
		 <name>yarn.resourcemanager.ha.id</name>
		 <value>rm2</value>
	 </property>
	 -->

	<property>
		<name>yarn.resourcemanager.scheduler.class</name>
		<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
	</property>
	<property>
		<name>yarn.resourcemanager.recovery.enabled</name>
		<value>true</value>
	</property>
	<property>
		<name>yarn.app.mapreduce.am.scheduler.connection.wait.interval-ms</name>
		<value>5000</value>
	</property>
	<!-- ZKRMStateStore 配置 -->
	<property>
		<name>yarn.resourcemanager.store.class</name>
		<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
	</property>
	<property>
		<name>yarn.resourcemanager.zk-address</name>
		<value>hadoop001:2181,hadoop002:2181,hadoop003:2181</value>
	</property>
	<property>
		<name>yarn.resourcemanager.zk.state-store.address</name>
		<value>hadoop001:2181,hadoop002:2181,hadoop003:2181</value>
	</property>
	<!-- Client访问RM的RPC地址 (applications manager interface) -->
	<property>
		<name>yarn.resourcemanager.address.rm1</name>
		<value>hadoop001:23140</value>
	</property>
	<property>
		<name>yarn.resourcemanager.address.rm2</name>
		<value>hadoop002:23140</value>
	</property>
	<!-- AM访问RM的RPC地址(scheduler interface) -->
	<property>
		<name>yarn.resourcemanager.scheduler.address.rm1</name>
		<value>hadoop001:23130</value>
	</property>
	<property>
		<name>yarn.resourcemanager.scheduler.address.rm2</name>
		<value>hadoop002:23130</value>
	</property>
	<!-- RM admin interface -->
	<property>
		<name>yarn.resourcemanager.admin.address.rm1</name>
		<value>hadoop001:23141</value>
	</property>
	<property>
		<name>yarn.resourcemanager.admin.address.rm2</name>
		<value>hadoop002:23141</value>
	</property>
	<!--NM访问RM的RPC端口 -->
	<property>
		<name>yarn.resourcemanager.resource-tracker.address.rm1</name>
		<value>hadoop001:23125</value>
	</property>
	<property>
		<name>yarn.resourcemanager.resource-tracker.address.rm2</name>
		<value>hadoop002:23125</value>
	</property>
	<!-- RM web application 地址 -->
	<property>
		<name>yarn.resourcemanager.webapp.address.rm1</name>
		<value>hadoop001:8088</value>
	</property>
	<property>
		<name>yarn.resourcemanager.webapp.address.rm2</name>
		<value>hadoop002:8088</value>
	</property>
	<property>
		<name>yarn.resourcemanager.webapp.https.address.rm1</name>
		<value>hadoop001:23189</value>
	</property>
	<property>
		<name>yarn.resourcemanager.webapp.https.address.rm2</name>
		<value>hadoop002:23189</value>
	</property>

	<property>
	   <name>yarn.log-aggregation-enable</name>
	   <value>true</value>
	</property>
	<property>
		 <name>yarn.log.server.url</name>
		 <value>http://hadoop001:19888/jobhistory/logs</value>
	</property>


	<property>
		<name>yarn.nodemanager.resource.memory-mb</name>
		<value>2048</value>
	</property>
	<property>
		<name>yarn.scheduler.minimum-allocation-mb</name>
		<value>1024</value>
		<discription>单个任务可申请最少内存，默认1024MB</discription>
	 </property>

  
  <property>
	<name>yarn.scheduler.maximum-allocation-mb</name>
	<value>2048</value>
	<discription>单个任务可申请最大内存，默认8192MB</discription>
  </property>

   <property>
       <name>yarn.nodemanager.resource.cpu-vcores</name>
       <value>2</value>
    </property>

</configuration>


hadoop配置文件之slaves
hadoop001
hadoop002
hadoop003
1:hadoop集群
[hadoop@hadoop001 app]$ tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz 
[hadoop@hadoop001 app]$ ln -s /home/hadoop/app/hadoop-2.6.0-cdh5.7.0 /home/hadoop/app/hadoop

[hadoop@hadoop001 app]$ cd hadoop

[hadoop@hadoop001 hadoop]$ cd etc/hadoop
[hadoop@hadoop001 hadoop]$ mkdir -p /home/hadoop/app/hadoop-2.6.0-cdh5.7.0/tmp
[hadoop@hadoop001 hadoop]$ mkdir -p /home/hadoop/app/hadoop-2.6.0-cdh5.7.0/data/dfs/name
[hadoop@hadoop001 hadoop]$ mkdir -p /home/hadoop/app/hadoop-2.6.0-cdh5.7.0/data/dfs/jn

[hadoop@hadoop001 hadoop]$ rm -f core-site.xml hdfs-site.xml yarn-site.xml 
[hadoop@hadoop001 hadoop]$ rm -f slaves

[hadoop@hadoop001 hadoop]$ scp -r core-site.xml hdfs-site.xml mapred-site.xml slaves yarn-site.xml hadoop002:/home/hadoop/app/hadoop/etc/hadoop

[hadoop@hadoop001 hadoop]$ scp -r core-site.xml hdfs-site.xml mapred-site.xml slaves yarn-site.xml hadoop003:/home/hadoop/app/hadoop/etc/hadoop

[hadoop@hadoop001 hadoop]$ vi hadoop-env.sh 
export JAVA_HOME=/usr/java/jdk1.8.0_45

[hadoop@hadoop001 sbin]$ ./hadoop-daemon.sh start journalnode
[hadoop@hadoop002 sbin]$ ./hadoop-daemon.sh start journalnode
[hadoop@hadoop003 sbin]$ ./hadoop-daemon.sh start journalnode

[hadoop@hadoop002 sbin]$ jps
1734 JournalNode
1591 QuorumPeerMain
1785 Jps

格式化hadoop
[hadoop@hadoop001 hadoop]$ hadoop namenode -format

19/04/02 08:29:08 INFO common.Storage: Storage directory /home/hadoop/app/hadoop-2.6.0-cdh5.7.0/data/dfs/name has been successfully formatted.

或者 格式一台后
[hadoop@hadoop001 hadoop]$ scp -r data/ hadoop002:/home/hadoop/app/hadoop
[hadoop@hadoop001 hadoop]$ scp -r data/ hadoop003:/home/hadoop/app/hadoop

[hadoop@hadoop001 hadoop]$ hdfs zkfc -formatZK
[hadoop@hadoop001 sbin]$ ./start-dfs.sh 
1:集群启动成功信息
[hadoop@hadoop001 sbin]$ jps
1856 NameNode
1635 QuorumPeerMain
2277 DFSZKFailoverController
1688 JournalNode
1962 DataNode
2347 Jps
[hadoop@hadoop001 sbin]$


[hadoop@hadoop002 hadoop]$ jps
1680 JournalNode
2035 DFSZKFailoverController
2115 Jps
1607 QuorumPeerMain
1883 DataNode
1791 NameNode
[hadoop@hadoop002 hadoop]$

[hadoop@hadoop003 sbin]$ jps
1609 QuorumPeerMain
1772 DataNode
1663 JournalNode
1887 Jps
[hadoop@hadoop003 sbin]$


1:启动yarn.sh
[hadoop@hadoop001 sbin]$ ./start-yarn.sh
[hadoop@hadoop002 sbin]$ ./yarn-daemon.sh start resourcemanager

[hadoop@hadoop001 sbin]$ jps
2596 NodeManager
2501 ResourceManager
2070 DataNode
3047 Jps
1591 QuorumPeerMain
1656 JournalNode
2364 DFSZKFailoverController
1934 NameNode


[hadoop@hadoop002 sbin]$ jps
1680 JournalNode
2035 DFSZKFailoverController
2197 NodeManager
1607 QuorumPeerMain
2535 ResourceManager
1883 DataNode
2638 Jps
1791 NameNode

1:访问控制面板
http://116.62.198.161:50070/dfshealth.html#tab-overview
http://118.31.41.202:50070/dfshealth.html#tab-overview
1:
[hadoop@hadoop001 sbin]$ ./mr-jobhistory-daemon.sh start historyserver

[hadoop@hadoop001 sbin]$ netstat -nlp|grep 3256
(Not all processes could be identified, non-owned process info
 will not be shown, you would have to be root to see it all.)
tcp        0      0 172.16.121.228:10020        0.0.0.0:*                   LISTEN      3256/java
tcp        0      0 172.16.121.228:19888        0.0.0.0:*                   LISTEN      3256/java
tcp        0      0 0.0.0.0:10033               0.0.0.0:*                   LISTEN      3256/java

http://116.62.198.161:19888/jobhistory
1:启动hadoop集群
[hadoop@hadoop001 ~]$ zkServer.sh start
[hadoop@hadoop002 ~]$ zkServer.sh start
[hadoop@hadoop003 ~]$ zkServer.sh start

[hadoop@hadoop001 sbin]$ ./start-dfs.sh

 

梦想小镇的书
关注
Hadoop分布式物理机集群搭建（hdfs和yarn）版本：hadoop-3.3.0
数智技术
01-22 757
Hadoop物理机集群搭建（hdfs和yarn）版本：hadoop-3.3.0 准备工作： 1.需要先安装jdk8 2.六台机器ssh相互信任 3.关闭防火墙或者六台机器ip都加到白名单 服务器配置（6台）： 168.61.1.11（用作NameNode和ResourceManager） 168.61.1.12、168.61.1.13、168.61.1.14、168.61.1.15、168.61.1.16（用作DataNode和NodeManager） 新的改变 我们对Markdown编辑器进行了一些功能拓
yarn分布式集群部署
luohandsome的专栏
09-15 2201
单机部署的方式，ubuntu上和CentOS一样 分布式集群的部署方式 1. 修改slave1和slave2机器的/etc/hosts 设置master slave1 slave2 namenode datanode1 datanode2 修改配置etc/hadoop/slaves 没有etc/hadoop/master文件 master配置写在yarn-site.xml中 把lo
hadoop 安装部署-HDFS/YARN/MR
紫蝶侠的博客
05-07 279
1.HDFS安装 1.配置hdfs的NameNode（core-site.xml) vi etc/hadoop/core-site.xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://kafka1:9000</value> <description>配置NameNode的URL</description> <
大数据技术基础实验十二：YARN实验——部署YARN集群
北天的博客
11-09 2209
大数据技术基础实验十二，YARN集群配置启动。
1_Hadoop安装部署及常用配置(HDFS+YARN)
nothair的博客
03-01 841
2020/12/5 sunhaiqi@bonc.com.cn 文章目录一、hadoop伪分布式集群搭建1.1、添加主机名称（ip空格机器名）1.2、为当前用户bduser101赋予root权限1.3、设置ssh无密登录1.4、关闭防火墙，并将默认状态改为关闭1.5、准备好jdk、hadoop压缩包1.6、修改配置文件1.7、格式化namenode（第一次启动集群之前格式化）二、hadoop完全分布式集群搭建2.1、创建节点2.2、网络配置(node102，node103)2.3、修改主机名(node102,
大数据平台，hadoop集群学习笔记
02-25
本笔记将深入探讨Hadoop集群及其核心组件，帮助读者理解大数据平台的基础与精髓。 第一章介绍了大数据的基本概念。大数据是指无法用传统数据处理方法进行有效管理的数据集，其特点包括高容量、高速度和多样性。...
大数据Hadoop入门——HDFS、Yarn、MapReduce
weixin_44090845的博客
11-16 2435
Hadoop框架详细个人总结——Hadoop入门篇大数据是什么？Hadoop基本概念介绍一、什么是Hadoop？二、Hadoop优势——四高三、Hadoop组成（重点）四、HDFS架构五、YARN架构六、MapReduce架构七、HDFS、YARN、MapReduce 三者关系Hadoop运行环境搭建虚拟机的准备一、安装虚拟机二、虚拟机配置及环境准备Hadoop运行模式一、本地运行模式二、伪分布式模式三、完全分布式模式**1.虚拟机准备****2.准备一个集群分发脚本****3.SSH 无密登录配置****
Hadoop大数据集群搭建（超详细）_hadoop集群搭建(1)
最新发布
2401_84181070的博客
04-27 1111
打开C:\Windows\System32\drivers\etc下的hosts文件,添加以下内容（注：如果没有notepad++这类软件，可以通过记事本保存在其他位置，然后拖动到该文件夹下）Hadoop的JAVA_HOME版本设置未更改，例如未去掉注释等，三台虚拟机全都改好后重启hdfs和yarn。Hadoop的JAVA_HOME版本设置未更改，例如未去掉注释等，三台虚拟机全都改好后重启hdfs和yarn。执行该程序（参考下文中可能遇到的问题，问题1、2为必现问题，建议直接修改）
大数据1.7Hadoop集群
weixin_64895348的博客
11-30 536
单击导航条上的【Datanodes】，查看数据节点信息。在Hadoop WebUI界面查看刚才创建的目录。利用Hadoop WebUI查看文件是否上传成功。单击【Download】，下载结果文件到本地。6、在YARN集群UI界面查看程序运行状态。，从图中可以看出HDFS集群状态显示正常。，从图中可以看出YARN集群状态显示正常。5、在HDFS集群UI界面查看结果文件。利用HDFS命令查看文件是否上传成功。3、文件上传到HDFS指定目录。在HDFS集群UI界面，查看。集群主机名与IP地址的映射。
Hadoop集群部署
zznnniuu的博客
02-27 2099
Hadoop集群部署一、环境准备二、在hadoop102中安装jdk三、在 hadoop102 安装 Hadoop安装hadoop查看 Hadoop 目录结构 一、环境准备 （0）需要准备三台虚拟机，名称为Hadoop（102，103，104），ip地址为192.168.10.（102、103、104）。 （1）关闭虚拟机防火墙 [root@hadoop100 ~]# systemctl stop firewalld (关闭防火墙) [root@hadoop100 ~]# systemctl disable
hadoop 集群安装与部署（大数据系列）
shareing
09-09 1495
什么是大数据 基本概念 大数据在现实生活中的具体应用 什么是hadoop hdfs整体运行机制 搭建hdfs分布式集群 hdfs集群组成结构： 安装hdfs集群的具体步骤： 安装hdfs集群 什么是大数据 基本概念 《数据处理》 在互联网技术发展到现今阶段，大量日常、工作等事务产生的数据都已经信息化，人类产生的数据量相比以前有了爆炸式的增长，以前的传统的数据处理...
HDFS和YARN HA部署
liweihope的博客
04-10 595
任意时刻只能有一个nn（active状态）去写，nn standby 读 jn部署台数是奇数2n+1，active nn把编辑日志写道jn，要求至少 n/2+1台jn是好的。 如果有3台jn，三台都是好的，那么会写三台，如果有一台是坏的，那么满足3+1/2>=2台，会写两台 jn、zk不能部署太多，写的话也要耗很多时间，投票时间会越来越长，影响状态的切换。 standby nn读jn，随机找...
HDFS、YARN HA部署
likaiasddsa的博客
05-03 260
三台机器安装软件 配置用户 创建新用户 useradd hadoop 设置用户密码 passwd hadoop 切换到hadoop用户 su - hadoop 创建目录 mkdir app mkdir software 上传软件安装包到 rz 解压软件 配置ssh免密登陆 生成秘钥 ssh-keygen 查看秘钥目录 cd .ssh 把hadoop001的公钥放...
大数据技术之Hadoop：Yarn集群部署（七）
路漫漫其修远兮，吾将上下而求索
09-08 2015
常用的进程启动命令如下：一键启动YARN集群：会基于yarn-site.xml中配置的yarn.resourcemanager.hostname来决定在哪台机器上启动会基于workers文件配置的主机启动一键停止YARN集群：在当前机器，单独启动或停止进程start和stop决定启动和停止可控制resourcemanager、nodemanager、proxyserver三种进程历史服务器启动和停止start|stop。
Hadoop学习第二课（hadoop3.2.2版本hdfs继续部署+yarn部署）
whs0329的博客
12-01 661
署之前我们先打开环境查看 namenode和secondary namenode都是以hadoop001开启，而datanode不是 1.查看IP地址，配置内网IP------为了实现三个进程都是以hadoop001启动 Linux中查看IP地址命令：ifconfig 如图所示---箭头指向的为当前Linux系统的内网IP 而Windows中的命令是：ipconfig 切换到root用户配置内网IP 红色框框内为内网IP，hadoop001为机器名 2.hdfs的三...
HDFS&Yarn HA 集群部署（三台机器）
SUDDEV的博客
08-22 753
文章目录1.规划&环境准备1.1 软件准备1.2 主机规划2.安装前准备2.1 添加hadoop用户并创建目录2.1.1 添加hadoop用户2.2.2 创建目录2.2.3 配置Hosts使ip与hostname绑定2.2.4 安装rz和sz命令2.2.5 配置Hadoop的SSH互信2.2.6 上传需要安装的软件2.2 软件安装2.2.1 Jdk安装2.2.2 Zookeeper安装&...
hadoop HA集群部署（HDFS&YARN）
qq_40727267的博客
08-19 233
一、环境准备 阿里云按量付费方式购买三台同一区域的云主机 配置安全组策略 然后选择配置规则 选择添加安全组规则，在端口号和授权对象填入开放的端口和允许访问的ip 关闭防火墙（阿里云按量付费的不用管这个） # 停止防火墙 [hadoop@ruozedata001 software]$ systemctl stop firewalld # 关闭开机自启动防火墙 [hadoop@r...
Hadoop YARN HA 集群安装部署详细图文教程
Stars.Sky 的博客
09-05 3519
Hadoop YARN HA 集群安装部署详细图文教程
大数据入门：Hadoop集群搭建步骤
然而，这只是开始，你还需要配置Hadoop的相关配置文件，如`core-site.xml`, `hdfs-site.xml`, `yarn-site.xml`和`mapred-site.xml`，以及启动Hadoop服务，包括NameNode、DataNode、ResourceManager、NodeManager等。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值