Hadoop Yarn 安装

最新推荐文章于 2022-12-07 22:05:02 发布
最新推荐文章于 2022-12-07 22:05:02 发布
阅读量668 收藏
点赞数
分类专栏： Hadoop 文章标签： hadoop安装 yarn安装

来源： http://blog.csdn.net/zlcd1988/article/details/36008681

http://www.cnblogs.com/toughhou/p/3864273.html


环境：Linux, 8G 内存，60G 硬盘 ， Hadoop 2.2.0

为了构建基于Yarn体系的Spark集群，先要安装Hadoop集群，为了以后查阅方便记录了我本次安装的具体步骤。

事前准备

1. 机器准备

三台主机,#后面说明了用途
10.64.245.152    #hadooptest1 : master
10.64.247.157    #hadooptest2 : datanode1
10.64.253.197    #hadooptest3:  datanode2

修改主机名:
在hadooptest1上， vi /etc/sysconfig/network,修改HOSTNAME=hadoop1
在hadooptest2上， vi /etc/sysconfig/network,修改HOSTNAME=hadoop2
在hadooptest3上， vi /etc/sysconfig/network,修改HOSTNAME=hadoop3


增加ip和主机映射:
在三台机器上，在/etc/hosts末尾添加
  • 10.64.245.152   hadoop1
  • 10.64.247.157   hadoop2
  • 10.64.253.197   hadoop3

在hadoop1上， 运行 hostname hadoop1
在hadoop2上， 运行 hostname hadoop2
在hadoop3上， 运行 hostname hadoop3

exit重连之后，hostname 就会变成hadoop[1-3],这样做的好处是ssh hadoop2 会自动解析连接10.64.245.152，方便以后使用。这也是短域名实现的方式。

2. 目录创建
[plain]  view plain copy 在CODE上查看代码片 派生到我的代码片
  1. $mkdir -p /hadoop/hdfs  
  2. $mkdir -p /hadoop/tmp  
  3. $mkdir -p /hadoop/log  
  4. $mkdir -p /usr/java                               ###java安装路径  
  5. $mkdir -p /usr/hadoop                             ###hadoop安装路径  
  6. $chmod -R 777 /hadoop  

可以根据自己的情况确定安装路径。

安装Java

1. 下载JDK，并安装，建议安装JDK 1.7。本次下载 jdk-7u65-linux-x64.tar.gz
http://www.oracle.com/technetwork/java/javase/downloads/index.html

[plain]  view plain copy 在CODE上查看代码片 派生到我的代码片
  1. $tar -zxvf jdk-7u65-linux-x64.tar.gz  
  2. $mv jdk1.7.0_65 java  
 

 

 

 


  注释：下载的java 包类型不同，安装略有不同。 

 

 

 


  2. 配置Java 环境 

 

 
 可以修改/etc/profile,也可以修改自己home目录下的~/.profile(ksh)或者~/.bash_profile(bash)，本次安装是bash，所以在.bash_profile 末尾 
 添加 

 

 
  

 


  export JAVA_HOME=/usr/java/javaexport CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar 

 


  export PATH=$JAVA_HOME/bin:$PATH 

 

 

 


  使环境立即生效，执行 

 

 
 
 
  
 
   
 
    [plain]  
    view plain 
    copy 
    在CODE上查看代码片 
    派生到我的代码片 
    
 
    
 
   
 
  
 
  
  1.  $source .bash_profile  
 
 
 
 
 
  
 
 
 3. 检查Java是否安装成功 

 

 
 
 
  
 
   
 
    [plain]  
    view plain 
    copy 
    在CODE上查看代码片 
    派生到我的代码片 
    
 
    
 
   
 
  
 
  
  1.  $ java -version  
  2.  java version "1.7.0_65"
  3.  Java(TM) SE Runtime Environment (build 1.7.0_65-b17)
     Java HotSpot(TM) 64-Bit Server VM (build 24.65-b04, mixed mode)
     
 
 
 
 
 
 
配置SSH 无密码登录
 

 


  hadoop1 上 

 

 
 

 
 
 
  
 
   [plain]  
   view plain 
   copy 
   在CODE上查看代码片 
   派生到我的代码片 
   
 
   
 
  
 
 
 
 
  1.  $ mkdir .ssh  
  2.  $ cd .ssh  
  3.  $ ssh-keygen -t rsa  ##generate key
  4.  Generating public/private rsa key pair.  
  5.  Enter file in which to save the key (/export/home/*******/.ssh/id_rsa):   
  6.  Enter passphrase (empty for no passphrase):   
  7.  Enter same passphrase again:   
  8.  Your identification has been saved in ~/.ssh/id_rsa.  
  9.  Your public key has been saved in ~/.ssh/id_rsa.pub.  
  10.  The key fingerprint is:  
  11.  b0:76:89:6a:44:8b:cd:fc:23:a4:3f:69:55:3f:83:e3 ...  
  12.  $ ls -lrt  
  13.  total 2  
  14.  -rw-------   1     887 Jun 30 02:10 id_rsa  
  15.  -rw-r--r--   1     232 Jun 30 02:10 id_rsa.pub  
  16.  $ touch authorized_keys   
  17.  $ cat id_rsa.pub >> authorized_keys  
 

 

 
 

 hadoop2和hadoop3上，同样生成公钥和私钥。
 
 

 
 

 
 
 
  
 
   [plain]  
   view plain 
   copy 
   在CODE上查看代码片 
   派生到我的代码片 
   
 
   
 
  
 
 
 
 
  1.  [hadoop2]$ mv id_rsa.pub pub2  
  2.  [hadoop3]$ mv id_rsa.pub pub3  
 

 

 
把pub2,pub3都scp到hadoop1上,然后 

 
 

 
 

 
 
 
  
 
   [plain]  
   view plain 
   copy 
   在CODE上查看代码片 
   派生到我的代码片 
   
 
   
 
  
 
 
 
 
  1.  $ cat pub2 >> authorized_keys  
  2.  $ cat pub3 >> authorized_keys  
 

 

 
 

 
 把authorized_keys scp到hadoop2和hadoop3上，这样就可以免密码登录了。
 

  一言以蔽之，就是在每台node上生成公钥和私钥，把所有公钥的内容汇总成authorized_keys，并把authorized_keys分发到集群所有node上相同的目录，这样每个node都拥有整个集群node的公钥，互相之间就可以免密码登录了。
 

 注意：authorized_keys必须严格设定其读写权限，如果权限过大如666可能导致验证失败。
 

 
 验证免密码登录，在hadoop1上：
 

 
 
 
  
 
   [plain]  
   view plain 
   copy 
   在CODE上查看代码片 
   派生到我的代码片 
   
 
   
 
  
 
 
 
 
  1.  $ ssh haoop1  
  2.  ssh: Could not resolve hostname haoop1: Name or service not known  
  3.  [username@hadoop3 hadoop]$ ssh hadoop1  
  4.  The authenticity of host 'hadoop1 (192.168.1.1)' can't be established.  
  5.  RSA key fingerprint is 18:85:c6:50:0c:15:36:9c:55:34:d7:ab:0e:1c:c7:0f.  
  6.  Are you sure you want to continue connecting (yes/no)? yes  
  7.  Warning: Permanently added 'hadoop1' (RSA) to the list of known hosts.  
  8.    
  9.          #################################################################  
  10.          #                                                               #  
  11.          #       This system is for the use of authorized users only.    #  
  12.          #       Individuals using this computer system without          #  
  13.          #       authority, or in excess of their authority, are         #  
  14.          #       subject to having all of their activities on this       #  
  15.          #       system monitored and recorded by system personnel.      #  
  16.          #                                                               #  
  17.          #       In the course of monitoring individuals improperly      #  
  18.          #       using this system, or in the course of system           #  
  19.          #       maintenance, the activities of authorized users         #  
  20.          #       may also be monitored.                                  #  
  21.          #                                                               #  
  22.          #       Anyone using this system expressly consents to such     #  
  23.          #       monitoring and is advised that if such monitoring       #  
  24.          #       reveals possible evidence of criminal activity,         #  
  25.          #       system personnel may provide the evidence of such       #  
  26.          #       monitoring to law enforcement officials.                #  
  27.          #                                                               #  
  28.          #       This system/database contains restricted data.          #  
  29.          #                                                               #  
  30.          #################################################################  
  31.    
  32.  [hadoop1 ~]$  
 

 

 
 
 

  安装Hadoop
 


  1. 下载与解压(所有节点) 

 
 

 
 
 
  
 
   
 
    [plain]  
    view plain 
    copy 
    在CODE上查看代码片 
    派生到我的代码片 
    
 
    
 
   
 
  
 
  
  1.  $ wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.2.0/hadoop-2.2.0.tar.gz   
  2.  $ tar -zxvf hadoop-2.2.0.tar.gz  
  3.  $ mv hadoop-2.2.0 /usr/hadoop  
 
 
 
 
 

 

 
 以下都运行在haoop1上 

 


  2. 配置环境变量，在.bash_profile末尾添加 

 

 
 
 export HADOOP_HOME=/usr/hadoop 
 
 export HADOOP_MAPARED_HOME=${HADOOP_HOME} 
 
 export HADOOP_COMMON_HOME=${HADOOP_HOME} 
 
 export HADOOP_HDFS_HOME=${HADOOP_HOME} 
 
 export YARN_HOME=${HADOOP_HOME} 
 
 export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop 
 
 export HDFS_CONF_DIR=${HADOOP_HOME}/etc/hadoop 
 
 export YARN_CONF_DIR=${HADOOP_HOME}/etc/hadoop 
 
 export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH 
 
 

 

 
 
 

 


  source .bash_profile 

 


  3. $HADOOP_HOME/etc/hadoop/hadoop-env.sh,末尾添加 

 


  export JAVA_HOME=/usr/java/jdk1.7.0_65 
 
 

 

 
 
 

 


  4. $HADOOP_HOME/etc/hadoop/ 
 core-site.xml 添加 

 

 
 
 

 


  <property> 
 
  <name>hadoop.tmp.dir</name> 
 
  <value>/hadoop/tmp</value> 
 
  <description>A base for other temporary directories.</description> 
 
 </property> 
 
  <property> 
 
  <name>fs.default.name</name> 
 
  <value>hdfs://192.168.1.1:9000</value> 
 
 </property> 
 
 

 

 
 

 5. $HADOOP_HOME/etc/hadoop/slaves 内容变为（datanode)
 

 
 10.64.247.157 

 10.64.253.197 

 
 

 
 
 

 6. $HADOOP_HOME/etc/hadoop/hdfs-site.xml 添加
 

  <property>
                 <name>dfs.replication</name>
                 <value>3</value>
         </property>
        
         <property>
                 <name>dfs.namenode.name.dir</name>
                 <value>file:/hadoop/hdfs/name</value>
                 <final>true</final>
         </property>
           
         <property>
                 <name>dfs.federation.nameservice.id</name>
                 <value>ns1</value>
         </property>
         
         <property>
                 <name>dfs.namenode.backup.address.ns1</name>
                 <value>10.64.245.152:50100</value>
         </property>
         
         <property>
                 <name>dfs.namenode.backup.http-address.ns1</name>
                 <value>10.64.245.152:50105</value>
         </property>
         
         <property>
                 <name>dfs.federation.nameservices</name>
                 <value>ns1</value>
         </property>
         
         <property>
                 <name>dfs.namenode.rpc-address.ns1</name>
                 <value>10.64.245.152:9000</value>
         </property>
         <property>
                 <name>dfs.namenode.rpc-address.ns2</name>
                 <value>10.64.245.152:9000</value>
         </property>
               
         <property>
                 <name>dfs.namenode.http-address.ns1</name>
                 <value>10.64.245.152:23001</value>
         </property>
         
         <property>
                 <name>dfs.namenode.http-address.ns2</name>
                 <value>10.64.245.152:13001</value>
         </property>
         
         <property>
                 <name>dfs.dataname.data.dir</name>
                 <value>file:/hadoop/hdfs/data</value>
                 <final>true</final>
         </property>
           
         <property>
                 <name>dfs.namenode.secondary.http-address.ns1</name>
                 <value>10.64.245.152:23002</value>
         </property>
         
         <property>
                 <name>dfs.namenode.secondary.http-address.ns2</name>
                 <value>10.64.245.152:23002</value>
         </property>
         
         <property>
                 <name>dfs.namenode.secondary.http-address.ns1</name>
                 <value>10.64.245.152:23003</value>
         </property>
         
         <property>
                 <name>dfs.namenode.secondary.http-address.ns2</name>
                 <value>10.64.245.152:23003</value>
         </property>
 
 

 
 
 

 7. $HADOOP_HOME/etc/hadoop/yarn-site.xml 添加
 

  <property>
                 <name>yarn.resourcemanager.address</name>
                 <value>10.64.245.152:18040</value>
         </property>
        
         <property>
                 <name>yarn.resourcemanager.scheduler.address</name>
                 <value>10.64.245.152:18030</value>
         </property>
         
         <property>
                 <name>yarn.resourcemanager.webapp.address</name>
                 <value>10.64.245.152:50030</value>
         </property>
         
         <property>
                 <name>yarn.resourcemanager.resource-tracker.address</name>
                 <value>10.64.245.152:18025</value>
         </property>
         
         <property>
                 <name>yarn.resourcemanager.admin.address</name>
                 <value>10.64.245.152:18141</value>
         </property>
         
         <property>
                 <name>yarn.nodemanager.aux-services</name>
                 <value>mapreduce_shuffle</value>
         </property>
        
 
 
         <property> 
                 <name>yarn.web-proxy.address</name> 
                 <value>hadoop1-9014.lvs01.dev.ebayc3.com:54315</value> 
         </property> 
 
 

 
 
 

 8. $HADOOP_HOME/etc/hadoop/httpfs-site.xml 添加
 
 

 <property>
                 <name>hadoop.proxyuser.root.hosts</name>
                 <value>10.64.245.152</value>
         </property>
         <property>
                 <name>hadoop.proxyuser.root.groups</name>
                 <value>*</value>
         </property>
 
 

 
 
 

 9. $HADOOP_HOME/etc/hadoop/mapred-site.xml 添加(配置job提交到yarn上并且配置history log 服务器)
 

 
 
<property> 

                 <name>mapreduce.framework.name</name> 

                 <value>yarn</value> 

                 <description>Execution framework set to Hadoop YARN.</description> 

         </property> 

                

         <property> 

                 <name>mapreduce.jobhistory.address</name> 

                 <value>10.64.245.152:10020</value> 

         </property> 

         <property> 

                 <name>mapreduce.jobhistory.webapp.address</name> 

                 <value>10.64.245.152:19888</value> 

         </property> 

         <property> 

                  <name>mapreduce.jobhistory.intermediate-done-dir</name> 

                  <value>/log/tmp</value> 

         </property> 

         <property> 

                  <name>mapreduce.jobhistory.done-dir</name> 

                  <value>/log/history</value> 

         </property> 

 
 
 

 这个是说明把job放到yarn 上去跑。
 

 10. 配置同步到其他datanode上
 

 
 

 
 
 
  
 
   [plain]  
   view plain 
   copy 
   在CODE上查看代码片 
   派生到我的代码片 
   
 
   
 
  
 
 
 
 
  1.  $ scp ~/.bash_profile hadoop2:~/.bash_profile  
  2.  $ scp $HADOOP_HOME/etc/hadoop/hadoop-env.sh hadoop2:$HADOOP_HOME/etc/hadoop/  
  3.  $ scp $HADOOP_HOME/etc/hadoop/core-site.xml hadoop2:$HADOOP_HOME/etc/hadoop/  
  4.  $ scp $HADOOP_HOME/etc/hadoop/slaves hadoop2:$HADOOP_HOME/etc/hadoop/  
  5.  $ scp $HADOOP_HOME/etc/hadoop/hdfs-site.xml hadoop2:$HADOOP_HOME/etc/hadoop/  
  6.  $ scp $HADOOP_HOME/etc/hadoop/yarn-site.xml hadoop2:$HADOOP_HOME/etc/hadoop/  
  7.  $ scp $HADOOP_HOME/etc/hadoop/httpfs-site.xml hadoop2:$HADOOP_HOME/etc/hadoop/  
  8.  $ scp $HADOOP_HOME/etc/hadoop/mapred-site.xml hadoop2:$HADOOP_HOME/etc/hadoop/  
 

 

 
把hadoop2改成hadoop3,，把配置同步到hadoop3上 

 
 

 
 

 
 

 
 

 
 

 启动Hadoop集群
 


  1. 格式化 

 

 
 
 

 


  hadoop namenode -format 
 
 

 

 
 
 

 


  2. 启动hdfs 

 

 
 
 

 


  start-dfs.sh 

 

 
 
 

 


  3. 启动yarn 

 

 
 
 

 


  start-yarn.sh 

 

 
 
 

 


  4. 启动httpfs 

 

 
 
 

 


  httpfs.sh start 
 
 

 


  5. 创建日志存放目录 

 


  hadoop fs -mkdir -p /log/tmp 

 


  hadoop fs -mkdir -p /log/history 
 
 

 

 
 
 

 

 测试hadoop集群
 


  1. hadoop1,看看进程是否已经开启 

 

 
 
 
  
 
   
 
    [plain]  
    view plain 
    copy 
    在CODE上查看代码片 
    派生到我的代码片 
    
 
    
 
   
 
  
 
  
  1.  $ jps  
  2.  8606 NameNode  
  3.  4640 Bootstrap  
  4.  17007 Jps  
  5.  16077 ResourceManager  
  6.  8781 SecondaryNameNode  
 
 
 这些进程必须都有 
 
 2. 在hadoop2 上看进程是否开启 

 

 
 
 
  
 
   
 
    [plain]  
    view plain 
    copy 
    在CODE上查看代码片 
    派生到我的代码片 
    
 
    
 
   
 
  
 
  
  1.  $ jps  
  2.  5992 Jps  
  3.  5422 NodeManager  
  4.  3292 DataNode  
 
 
 这些进程必须都有 
 
 3. hadoop fs -ls /    看是否可以列出文件 

 


  4. 测试hadoop job 

 

 
 
 
  
 
   [plain]  
   view plain 
   copy 
   在CODE上查看代码片 
   派生到我的代码片 
   
 
   
 
  
 
 
 
 
  1.  hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount /input /output7  
 

 

 如果运行正常，可以在job monitor页面看到job运行状况。
 

 http://10.64.245.152:50030/cluster/app/application_1406472756004_0002 （见配置$HADOOP_HOME/etc/hadoop/yarn-site.xml）
 

 
 

 
 
 
 
 

 


  总结：在安装过程中会遇到各种问题，这里不一一列示，以免太过啰嗦。 
 
 

 

 
 
 

 


                

        

        

    




    

      

        

            

              
                
                  liuln86
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                      0
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    0
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          










                



	

		

			

				
					
Hadoop YARN HA 集群安装部署详细图文教程

				
			

			

				

					Stars.Sky 的博客
				

				

					09-05
					
					2986
					
				

			

		

		

			
				
Hadoop YARN HA 集群安装部署详细图文教程

			
		

	



                

              
                



	

		

			

				
					
yarn安装教程

				
			

			

				

					m0_58724783的博客
				

				

					03-01
					
					1万+
					
				

			

		

		

			
				
Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度。

			
		

	



                


  
              

                


	

		

			

				
					
@Hadoop基础实验，HDFS&&YARN&&Hbase安装配置（教程）

				
			

			

				

					m0_45911532的博客
				

				

					09-25
					
					686
					
				

			

		

		

			
				
（注：如果没有做完免密，在启动hdfs的时候会出现Permission denied(publickey,........提示，如果遇到这个提示，回去复盘免密）-rw-r--r-- 1 ZSY ZSY 1283 Sep 24 16:14 known_hosts已知主机,可以cat文件名，查看有哪些主机。-rw------- 1 ZSY ZSY 2382 Sep 24 16:16 authorized_keys授权密码。3.出现YE^H^H^[[3~^[[2~^[[3~^H^H^H怎么 删?

			
		

	





	

		

			

				
					
【大数据部署】HDFS，Yarn集群快速搭建教程（涵盖Windows与Linux中的注意事项）

				
			

			

				

					Liming07的博客
				

				

					12-07
					
					1016
					
				

			

		

		

			
				
大数据Hadoop平台伪分布式搭建，使用详细的图文为大家介绍如何玩转单节点HDFS MapReduce Yarn的平台部署。

			
		

	



		

			
		



	

		

			

				
					
Hadoop Yarn 案例 2

				
			

			

				

					07-16
				

			

		

		

			
				
在大数据处理领域，Hadoop YARN（Yet Another Resource Negotiator）是Apache Hadoop项目中的一个核心组件，负责管理和调度集群中的资源。YARN为大数据处理提供了高效、可扩展的资源管理框架，使得不同类型的计算...

			
		

	





	

		

			

				
					
Hadoop Yarn 案例 1

				
			

			

				

					07-16
				

			

		

		

			
				
Yarn TopN 案例 年-月-日 某ID（如地区ID，案例中无任何作用） 温度 相同月中最热的3天 案例：https://blog.csdn.net/lian582796149/article/details/118789626

			
		

	





	

		

			

				
					
HadoopYARN权威指南

				
			

			

				

					06-04
				

			

		

		

			
				
详细介绍Hadoop Yarn的架构以及如何构建Hadoop Yarn。详解介绍如何进行资源调优。

			
		

	





	

		

			

				
					
Hadoop Yarn - Apache - Cloudera - APIs

					
最新发布

				
			

			

				

					06-22
				

			

		

		

			
				
Tuning Apache Hadoop YARN 4 YARN tuning overview4 Step 1: Worker host configuration8 Step 2: Worker host planning 8 Step 3: Cluster size9 Steps 4 and 5: Verify settings9 Step 6: Verify container ...

			
		

	





	

		

			

				
					
hadoop-yarn-api-2.5.1-API文档-中文版.zip

				
			

			

				

					04-23
				

			

		

		

			
				
赠送jar包：hadoop-yarn-api-2.5.1.jar； 赠送原API文档：hadoop-yarn-api-2.5.1-javadoc.jar； 赠送源代码：hadoop-yarn-api-2.5.1-sources.jar； 赠送Maven依赖信息文件：hadoop-yarn-api-2.5.1.pom； 包含翻译后...

			
		

	





	

		

			

				
					
【Hadoop】YARN详解与安装指南

				
			

			

				

					zwan0518的专栏
				

				

					02-21
					
					9755
					
				

			

		

		

			
				
YARN是hadoop的第二代，一个更加请打的分布式集群。相比较hadoop一代，yarn提供了更加清晰的程序架构和资源管理，让资源管理和任务管理隔离开来。在架构和代码上更加的清晰。文章介绍了yarn的详细安装步骤和遇到的问题。

			
		

	





	

		

			

				
					
Hadoop学习之路，YARN的配置与安装（2）

				
			

			

				

					qq_42559628的博客
				

				

					03-19
					
					2192
					
				

			

		

		

			
				
Hadoop中YARN的配置
etc/hadoop/mapred-site.xml文件编辑
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

etc/hadoop/yarn-site.xm

			
		

	





	

		

			

				
					
Hadoop yarn安装

				
			

			

				

					iMark
				

				

					09-16
					
					445
					
				

			

		

		

			
				
Journal Node
两个NameNode为了数据同步，会通过一组称作JournalNodes的独立进程进行相互通信。当active状态的NameNode的命名空间有任何修改时，会告知大部分的JournalNodes进程。standby状态的NameNode有能力读取JNs中的变更信息，并且一直监控edit log的变化，把变化应用于自己的命名空间。standby可以确保在集群出错时，命名空间状态已经完全同步了。
Hadoop中的NameNode好比是人的心脏，非常重要，绝对不可以停止工作。在hadoo

			
		

	





	

		

			

				
					
Hadoop-YARN 分布式安装

				
			

			

				

					oJueQiang123456的博客
				

				

					03-09
					
					1005
					
				

			

		

		

			
				
一、概述

hadoop-3.1.1.tar.gz
	node1(主节点：ResourseManager)
	node2(从节点：NodeManager)
	node3(从节点：NodeManager)
二、流程



Client提交作业到ResourseManager。
	Resourse Manager随机挑选挑选一台空闲的机器创建App Mstr。
	App Mstr 获取切片清单向...

			
		

	





	

		

			

				
					
Hadoop之YARN的安装与测试

				
			

			

				

					qq_41440381的博客
				

				

					11-01
					
					724
					
				

			

		

		

			
				
1.配置计算调度系统Yarn和计算引擎Map/Reduce
1.1 配置mapred-site.xml
namenode上配置mapred-site.xml，默认没有mapred-site.xml文件，只有一个模版文件mapred-site.xml.template
拷贝一个重命名一下即可，
cp mapred-site.xml.template mapred-site.xml
然后配置以下内容：...

			
		

	





	

		

			

				
					
配置免密登录报错：ssh: Could not resolve hostname note1: Name or service not known

					
热门推荐

				
			

			

				

					XIAOMO__的博客
				

				

					03-19
					
					1万+
					
				

			

		

		

			
				
这两天配置免密出现这个错误：
[root@note4 .ssh]# ssh note1
ssh: Could not resolve hostname note1: Name or service not known

1.设置主机名对不对
查看：hostnamectl
修改：hostnamectl   set-hostname 主机名 --static
2.修改
[root@note4 .ssh...

			
		

	





	

		

			

				
					

				
			

			

				

					
				

			

		

		

			
				

			
		

	



              



  
“相关推荐”对你有帮助么？

  

      
    
          
  • 
              
    
                  
                  
              
    
              
    非常没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    一般
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    有帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    非常有帮助
    
          
    • 
      

      

      

          
          提交
      

      

  




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值