Hadoop 2.2.0 (YARN)搭建笔记

最新推荐文章于 2024-10-10 10:00:00 发布
最新推荐文章于 2024-10-10 10:00:00 发布
阅读量1.7w 收藏 4
点赞数 1
分类专栏： hapoop

最近工作需要，摸索着搭建了Hadoop 2.2.0(YARN)集群，中间遇到了一些问题，在此记录，希望对需要的同学有所帮助。

        本篇文章不涉及hadoop2.2的编译，编译相关的问题在另外一篇文章《hadoop 2.2.0 源码编译笔记》中说明，本篇文章我们假定已经获得了hadoop 2.2.0的64bit发行包。

        由于spark的兼容问题，我们后面使用了Hadoop 2.0.5-alpha的版本（2.2.0是稳定版本），2.0.5的配置有一点细微的差别，文中有特别提示。

1. 简介

     【本节摘自http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html】

     Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。

　　对于Hadoop的集群来讲，可以分成两大类角色：Master和Salve。一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中NameNode作为主服务器，管理文件系统的命名空间和客户端对文件系统的访问操作；集群中的DataNode管理存储的数据。MapReduce框架是由一个单独运行在主节点上的JobTracker和运行在每个集群从节点的TaskTracker共同组成的。主节点负责调度构成一个作业的所有任务，这些任务分布在不同的从节点上。主节点监控它们的执行情况，并且重新执行之前的失败任务；从节点仅负责由主节点指派的任务。当一个Job被提交时，JobTracker接收到提交作业和配置信息之后，就会将配置信息等分发给从节点，同时调度任务并监控TaskTracker的执行。

　　从上面的介绍可以看出，HDFS和MapReduce共同组成了Hadoop分布式系统体系结构的核心。HDFS在集群上实现分布式文件系统，MapReduce在集群上实现了分布式计算和任务处理。HDFS在MapReduce任务处理过程中提供了文件操作和存储等支持，MapReduce在HDFS的基础上实现了任务的分发、跟踪、执行等工作，并收集结果，二者相互作用，完成了Hadoop分布式集群的主要任务。

2. 系统环境

系统版本

CentOS 6.4  64bit
uname -a
Linux ** 2.6.32_1-7-0-0 #1 SMP *** x86_64 x86_64 x86_64 GNU/Linux

JAVA环境

安装Java 1.6
将jdk解压到local目录下
添加JAVA_HOME环境变量到.bashrc文件中

export JAVA_HOME="/home/<hostname>/local/jdk1.6.0_45/"
export JRE_HOME="/home/<hostname>/local/jdk1.6.0_45/jre/"
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

HADOOP解压hadoop-2.2.0-bin_64.tar.gz(这个包是我在CentOS6.4 64bit的环境下编译得到的) 到用户根目录

export HADOOP_HOME=/home/<hostname>/hadoop-2.2.0
[html] view plaincopyprint?
  1. export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH  

测试本地模式

hadoop默认情况下配置为本地模式，所以解压后不修改任何配置，可以执行本地测试
// 创建本地目录
mkdir input 
// 填充数据
cp conf/*.xml input 
// 执行hadoop
bin/hadoop jar hadoop-examples-*.jar grep input output 'dfs[a-z.]+' 
// 查看结果
[html] view plaincopyprint?
  1. cat output/*  

3. 网络环境

由于前期只是测试环境和配置，所以简单的使用两个节点：
master机器，充当namenode & datanode
slave机器，充当datanode

设置hostname
HDFS用hostname而不是IP来相互之间进行通信，hadoop会反向解析hostname，即使是用了IP，也会使用hostname 来启动TaskTracker，所以所有配置文件只能用hostname，不能用IP（满满的都是泪）。我们给两个机器分别设置如下：
机器IPHOSTNAME角色
master192.168.216.135masternamenode, datanode
slave192.168.216.136slave1datanode

临时更改hostname的命令是(root权限)
hostname <new_name>
永久更改需要修改配置文件/etc/sysconfig/network
[html] view plaincopyprint?
  1. HOSTNAME=<new_name>  

修改hosts文件

设置/etc/hosts文件(每台机器上都要设置)，添加如下内容
[html] view plaincopyprint?
  1. 192.168.216.135 master  
  2. 192.168.216.136 slave1  
namenode与datanode的/etc/hosts内容都必须是ip位址与host name的对应，不能使用127.0.0.1代替本机的ip地址，否则hadoop使用hostname找ip时，会以"127.0.0.1"作为ip位址。

设置ssh无密码访问

master和所有的slave之间，需要实现双向ssh无密码访问(slave和slave之间可以不用实现)。

请参见《ssh无密码访问》文章，本文不再详述

防火墙设置

严格来说，应该是打开某些对应的端口。为了简单起见，我们这里关闭selinux和iptalbes.
关闭selinux的方法
[html] view plaincopyprint?
  1. setenforce 1 设置SELinux 成为enforcing模式  
  2. setenforce 0 设置SELinux 成为permissive模式   
如果永久关闭，编辑/etc/selinux/config
[html] view plaincopyprint?
  1. SELINUX=disabled  
关闭iptables的方法
[html] view plaincopyprint?
  1. service iptables stop  
  2. service ip6tables stop  
如果需要永久关闭（各个运行级别）
[html] view plaincopyprint?
  1. chkconfig iptables off  
  2. chkconfig ip6tables off  

4. 配置

我们只需要在master机器上配置好所有的配置文件，然后全部拷贝到各个slave机器上即可。
注意配置文件中涉及到的一些访问地址，都写成master：port的形式。很多文档中写为localhost或者127.0.0.1，这个是不对的，在多机器集群中，每一个机器上的这些配置，都是指向master节点的。

配置文件位于$HADOOP_HOME/etc/hadoop/目录下

建立数据目录

        我们在根目录下建立$HADOOP_DATA_HOME目录(/home/<hostname>/hadoop-data/, 其中<hostname>是你的用户名), 将dfs和mapred目录建立在这里，包括：

        $HADOOP_DATA_HOME/dfs/name

        $HADOOP_DATA_HOME/dfs/data

        $HADOOP_DATA_HOME/mapred/local

        $HADOOP_DATA_HOME/mapred/system

HDFS配置

配置hadoop-env.sh

         将该脚本中的JAVA_HOME设置为JAVA安装的位置，该配置文件中，只有JAVA_HOME变量是必须配置的，其它变量都是可选配置的。
         由于我们在.bashrc中添加了JAVA_HOME环境变量，这一步可以省略。

配置core-site.xml

[html] view plaincopyprint?
  1. <span style="background-color:rgb(240,240,240)"><configuration></span>  
  2. <property>  
  3. <name>io,native.lib.available</name>  
  4. <value>true</value>  
  5. </property>  
  6.    
  7. <property>  
  8. <name>fs.default.name</name>  
  9. <value>hdfs://master:54310</value>  
  10. <final>true</final>  
  11. </property>  
  12.    
  13. </configuration>  
     

 hdfs-site.xml          

[html] view plaincopyprint?
  1. <configuration>  
  2. <property>  
  3. <name>dfs.namenode.name.dir</name>  
  4. <value>file:/home/<hostname>/hadoop-data/dfs/name</value>  
  5. <description>Determines where on the local filesystem the DFS name node should store the name table.If this is a comma-delimited list of directories,then name table is replicated in all of the directories,for redundancy.</description>  
  6. <final>true</final>  
  7. </property>  
  8.    
  9. <property>  
  10. <name>dfs.datanode.data.dir</name>  
  11. <value>file:/home/<hostname>/hadoop-data/dfs/data</value>  
  12. <description>Determines where on the local filesystem an DFS data node should store its blocks.If this is a comma-delimited list of directories,then data will be stored in all named directories,typically on different devices.Directories that do not exist are ignored.  
  13. </description>  
  14. <final>true</final>  
  15. </property>  
  16.    
  17. <property>  
  18. <name>dfs.replication</name>   
  19. <value>1</value>  
  20. <description>副本数目</description>  
  21. </property>  
  22.    
  23. <property>  
  24. <name>dfs.permission</name>  
  25. <value>false</value>  
  26. </property>  
  27.   
  28. </configuration>  
dfs.datanode.name.dir是NameNode持久存储名字空间及事务日志的本地文件系统路径。 当这个值是一个逗号分割的目录列表时，nametable数据将会被复制到所有目录中做冗余备份。

dfs.datanode.data.dir是DataNode存放块数据的本地文件系统路径，逗号分割的列表。 当这个值是逗号分割的目录列表时，数据将被存储在所有目录下，通常分布在不同设备上。

dfs.replication是数据需要备份的数量，默认是3，如果此数大于集群的机器数会出错。

map-reduce配置

mapred-env.sh

类似hadoop-env.sh，配置JAVA_HOME即可

mapred-site.xml

[html] view plaincopyprint?
  1. <configuration>  
  2. <property>  
  3. <name>mapreduce.framework.name</name>  
  4. <value>yarn</value>   
  5. <span style="text-align:justify"><description>设置MapReduce的执行框架为YARN，这样mr job会被提交到ResourceManager</description></span>  
  6. </property>  
  7.    
  8. <property>  
  9. <name>mapreduce.job.tracker</name>  
  10. <value>hdfs://master:9001</value>  
  11. <final>true</final>  
  12. </property>  
  13.    
  14. <property>  
  15. <name>mapreduce.map.memory.mb</name>  
  16. <value>1536</value>  
  17. </property>  
  18.    
  19. <property>  
  20. <name>mapreduce.map.java.opts</name>  
  21. <value>-Xmx1024M</value>  
  22. </property>  
  23.    
  24. <property>  
  25. <name>mapreduce.reduce.memory.mb</name>  
  26. <value>3072</value>  
  27. </property>  
  28.    
  29. <property>  
  30. <name>mapreduce.reduce.java.opts</name>  
  31. <value>-Xmx2560M</value>  
  32. </property>  
  33.    
  34. <property>  
  35. <name>mapreduce.task.io.sort.mb</name>  
  36. <value>512</value>  
  37. </property>  
  38.    
  39. <property>  
  40. <name>mapreduce.task.io.sort.factor</name>  
  41. <value>100</value>  
  42. </property>  
  43.    
  44. <property>  
  45. <name>mapreduce.reduce.shuffle.parallelcopies</name>  
  46. <value>50</value>  
  47. </property>  
  48.    
  49. <property>  
  50. <name>mapred.system.dir</name>  
  51. <value>file:/home/hadoop/mapred/system</value>  
  52. <final>true</final>  
  53. </property>  
  54.    
  55. <property>  
  56. <name>mapred.local.dir</name>  
  57. <value>file:/home/hadoop/mapred/local</value>  
  58. <final>true</final>  
  59. </property>  
  60. </configuration>  


Yarn配置

yarn-site.xml

[html] view plaincopyprint?
  1. <configuration>  
  2.    
  3. <property>  
  4. <name>yarn.resourcemanager.address</name>  
  5. <value><span style="font-family:Arial,Helvetica,sans-serif">master</span><span style="font-family:Arial,Helvetica,sans-serif">:8080</value></span>  
  6. </property>  
  7.    
  8. <property>  
  9. <name>yarn.resourcemanager.scheduler.address</name>  
  10. <value>master:8081</value>  
  11. </property>  
  12.    
  13. <property>  
  14. <name>yarn.resourcemanager.resource-tracker.address</name>  
  15. <value>master:8082</value>  
  16. </property>  
  17.    
  18. <property>  
  19. <name>yarn.nodemanager.aux-services</name>  
  20. <value>mapreduce_shuffle</value>   
  21. </property>  
  22.    
  23. <property>  
  24. <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>  
  25. <value>org.apache.hadoop.mapred.ShuffleHandler</value>  
  26. </property>  
  27.    
  28. </configuration>  

注意这里的配置文件里面，有两处mapreduce_shuffle（原本配置是mapreduce.shuffle，启动时会报错，原因是**命名不能包含.字符）。

2.0.5.alpha版本中，这里需要配置成mapreduce.shuffle，否则会报错【java.lang.IllegalStateException: Invalid shuffle port number -1 returned】

yarn中shuffle部分被独立成一个service，需要在nodemanager启动的时候作为auxiliary service一起启动，这样可以自定义第三方的shuffle provider，和ShuffleConsumer，比如可以替换现阶段的HTTP Shuffle为RDMA Shuffle，对于中间结果merge可以采用更合适的策略来得到更好的性能提升。

masters & slaves文件

masters文件，告诉系统那个节点是master，填写的是master节点的hostname(由于我们配置了其就叫master，所以内容填master，注意这里必须是hostname，如果填IP，会出错)
[html] view plaincopyprint?
  1. master  


slaves文件，告诉系统哪些节点是slave，填写的是所有slave节点的hostname，每行一个。注意事项同master。

[html] view plaincopyprint?
  1. slave1  
默认的环境里面可能没有masters和slaves文件，自己建立即可。

5. 启动集群

格式化HDFS：

$HADOOP_HOME/bin/hdfs namenode -format

注意，如果不是第一次格式化，那么需要先清理tmp目录中的数据（默认的tmp目录在/tmp/hadoop-<username>下面），以及hdfs-site.xml中配置的dfs.datanode.data.dir目录，否则可能出错。


启动集群

$HADOOP_HOME/sbin/start-all.sh 

该命令会依次启动hdfs和yarn，分别调用start-hdfs.sh和start-yarn.sh;

start-hdfs.sh依次启动namenode、secondarynamenode、datanode，也可以单独启动，对应的命令为

[html] view plaincopyprint?
  1. hdfs namenode  
  2. hdfs secondarynamenode  
  3. hdfs datanode  

6. 测试

JPS测试

在master上执行jps，输出：
[html] view plaincopyprint?
  1. 3716 ResourceManager  
  2. 3456 DataNode  
  3. 4193 Jps  
  4. 3350 NameNode  
  5. 3587 SecondaryNameNode  
  6. 3807 NodeManager  
在slaver上执行jps，输出：
[html] view plaincopyprint?
  1. 2032 DataNode  
  2. 2118 NodeManager  
  3. 2274 Jps  

WebUI访问

查看端口打开状态
[html] view plaincopyprint?
  1. netstat -nap | grep 54310  
访问http://<master-ip>:8088

NameNode：http://<master-ip>:50070

JobTracker：http://<master-ip>:50030 

HDFS访问

在HDFS上创建新目录，可进一步测试HDFS是否工作正常：
[html] view plaincopyprint?
  1. hdfs dfs -mkdir /xxx  
  2. hdfs dfs -ls /  

简单任务执行

简单的map-reduce任务，在hadoop的根目录下执行：
[html] view plaincopyprint?
  1. hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar pi 2 2  
其中最后两个参数是map数和reduce数目

或者使用如下方式调用：
[html] view plaincopyprint?
  1. yarn jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar pi -Dmapreduce.clientfactory.class.name=org.apache.hadoop.mapred.YarnClientFactory -libjars $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar 2 2  
其它的例子：
[html] view plaincopyprint?
  1. // 将数据上传到hdfs,如果这时出现 <span style="padding-right:0.3em; padding-left:0.3em; border:1px solid rgb(221,221,221); display:inline-block; margin-top:-1px; margin-bottom:-1px">SafeModeException</span> 异常，不用担心，等待几分钟即可。因为hadoop刚刚启动时，会进入安全模式进行自检。  
  2. bin/hadoop fs -put etc/hadoop/*.xml input  
  3. // 运行 Hadoop 自带的例子:  
  4. <pre name="code" class="html">hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar grep input output 'dfs[a-z.]+'</pre><pre name="code" class="html">// 查看运行结果</pre>hadoop fs -cat output/*  

7. 扩展性

添加datanode节点

添加一个新的节点到现有的Hadoop集群需要做的事情包括：
       1.  将这个新节点添加到网络环境中，处理好ssh免密码登录(包括从master到该机器以及从该机器到master)
       2.  在该机器上部署hadoop，并设置masters文件中的master为现有集群的master（name node）
       3.  在master的slaves文件中添加该新的机器
       4.  start-all.sh启动系统
然后可以通过http://(Masternode的主机名):50070查看新添加的DataNode

8. 问题记录

出错的时候，可以设置logger级别，看下具体原因：export HADOOP_ROOT_LOGGER=DEBUG,console​

1.  INFO util.NativeCodeLoader - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable -- hadoop的本地库加载失败。
Hadoop默认会从$HADOOP_HOME/lib/native/Linux-*目录中加载本地库。如果加载成功，输出为：
DEBUG util.NativeCodeLoader - Trying to load the custom-built native-hadoop library... 
INFO util.NativeCodeLoader - Loaded the native-hadoop library
如果加载失败，则报错为Unable to load native-hadoop library for your platform...
相关的配置：
在Hadoop的配置文件core-site.xml中可以设置是否使用本地库：
[html] view plaincopyprint?
  1. <property>  
[html] view plaincopyprint?
  1. <name>hadoop.native.lib</name>  
[html] view plaincopyprint?
  1. <value>true</value>  
[html] view plaincopyprint?
  1. <description>Should native hadoop libraries, if present, be used.</description>  
[html] view plaincopyprint?
  1. </property>  

Hadoop默认的配置为启用本地库。另外，可以在环境变量中设置使用本地库的位置：

export JAVA_LIBRARY_PATH=/path/to/hadoop-native-libs

出错原因：

检查native库的版本信息，32bit的版本和64bit的版本在不匹配的机器上会加载失败，检查的命令是file <native-so-file>。

native库依赖的glibc的版本问题。如果在高版本gcc（glibc）的机器上编译的native库，放到低版本的机器上使用，会由于glibc版本不一致导致该错误。

2.  java.io.IOException: Failed on local exception: java.io.EOFException; Host Details : local host is: "master/192.168.216.135"; destination host is: "master":54310;

重新格式化namenode

3. maps to localhost, but this does not map back

是因为DNS服务器把 192.168.x.x 的地址都反向解析成 localhost ，而DNS服务器不是自己的，不能改。 解决的办法就是，编辑 ssh 客户端的 /etc/hosts 文件，把出问题的IP 地址和主机名加进去，就不会报这样的错了。


4. java.io.IOException: Incompatible clusterIDsin /home/wangming/hadoop-data/dfs/data

format 前 rm 一下

5. jps命令正常，但是8088端口的WEB页面无法访问

检查一下防火墙，selinux & iptables

6.  8088端口访问正常，但是看不到datanode节点

查看配置中，发现yarn-site.xml中，yarn.resourcemanager.address属性配置的端口号为8080，启动的时候，打开这个端口失败（可能是被其它进程占用，maybe tomcat等），改成8085，重新启动，问题解决。

7.  java.io.IOException: Failed on local exception: java.io.EOFException; Host Details : local host is: "master/192.168.216.135"; destination host is: "master":54310;

不知道为什么，重新格式化namenode,再启动，没有再报错。

8. java.lang.IllegalStateException: Invalid shuffle port number -1 returned
参见yarn-site.xml的配置，2.0.5.alpha版本中，这里需要配置成mapreduce.shuffle

9. org.apache.hadoop.ipc.Client: Retrying connect to server: master/192.168.216.131:54310
一是检查slave机器到master机器的连通性；
二是检查master机器上，是否打开了192.168.216.131:54310的监听（netstat -nap | grep 54310）
注意hostname的问题，同时，namenode与data node的/etc/hosts内容都必须是ip位址与host name的对应，不能使用127.0.0.1代替本机的ip地址，否则hadoop使用hostname找ip时，会以"127.0.0.1"作为ip位址。

10. FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Exception in secureMain：
hostname不在hosts列表里面，检查hostname和/etc/hosts文件
     

11. INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Exiting Datanode 或者 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Removed Block pool
fs.data.dir参数设置的目录权限必需为755，要不启动datanode节点启动就会因为权限检测错误而自动关闭。



9. 参考资料
    Apache有另一个项目叫做Ambari，旨在让大家能够方便快速的配置和部署Hadoop生态圈相关的组件的环境,并提供维护和监控的功能，本文没有涉及到这个工具，有兴趣的同学可以一试。
原文地址：点击打开链接
Hadoop-2.2.0学习之三YARN简介
skyWalker_ONLY
01-13 3993
MapReduce在hadoop-0.23版本中进行了完全的检查修改，并发展为了现在称之为的MapReduce2.0（MRv2）或者YARN。YARN的基本想法是将JobTracker的两个主要功能资源管理和作业调度监控分开为独立的后台进程，目标是拥有一个全局ResourceManager (RM)和每个应用程序一个的ApplicationMaster (AM)。一个应用程序或者是从经典MapRe
Hadoop2.2.0 HA高可用分布式集群搭建(hbase,hive,sqoop,spark)
edent-ON THE WAY
09-07 4777
1 需要软件 Hadoop-2.2.0 Hbase-0.96.2（这里就用这个版本，跟Hadoop-2.2.0是配套的，不用覆盖jar包什么的） Hive-0.13.1 Zookeepr-3.4.6（建议使用Zookeepr-3.4.5，这样就不用替换storm和hive里面的zookeepr-3.4.5.jar了） Sqoop1.4.5 Scala-2.10.4 Spark-1.0
【Hadoop之Yarn】Yarn的搭建流程、概念和组成部分 以及 Yarn的历史日志jobHistory配置和三种调度器
最新发布
一个大数据的爱好者
10-10 1326
Yarn的搭建流程、Yarn的概念、Yarn的组成部分、Yarn的历史日志jobHistory配置、Yarn的三种调度器
大数据基础学习-3.Hadoop2.0、Yarn
闲人勿
04-25 698
学习完hadoop1.0可以发现，namenode存在单节点问题，为此hadoop2.0做了重大的改进，现在先从Yarn入手，再到hadoop2.0，学习现在普遍采用的hadoop2.0架构。一、Yarn架构1.Yarn架构和功能• Hadoop集群的资源管理系统，为应用程序提供了基础服务来更好地利用大的、动态的、并行的基础设施资源• Hadoop2.0对MapReduce框架做了彻底的重构，Ma...
Hadoop2之YARN介绍
olifchou的博客
04-18 1313
Hadoop2之YARN介绍一、简介二、ResourceManager三、NodeManager四、ApplicationMaster五、Application Manager六、Container七、YARN运行过程八、Yarn的容错能力九、Yarn调度器十、结语 一、简介 Hadoop2.x主要由HDFS、YARN和MapReduce三部分组成，其架构图如图1.1所示。 图1.1Hadoop...
HDFS与MapReduce的关系
weixin_34007879的博客
03-25 924
2019独角兽企业重金招聘Python工程师标准>>> ...
CentOS 6.5上Hadoop 2.2.0分布式环境搭建全攻略
"Hadoop分布式搭建笔记" 在本文中，我们将详细探讨如何在CentOS 6.5 64位操作系统上搭建Hadoop 2.2.0 64位的分布式环境。这个过程涉及到多个步骤，包括虚拟机的创建、系统的安装、Hadoop用户的建立、JDK和SSH的安装...
ubuntu12.04+hadoop2.2.0+zookeeper3.4.5+hbase0.96.2+hive0.13.1伪分布式环境部署
迦壹的博墅
08-03 1433
目录目录 前言 hadoop220zookeeper345hbase0962hive0131都是什么 这些软件在哪里下载 如何安装 1 安装JDK当前主机名为m1 2 用parallels克隆3台机器 3 安装Zookeeper-345 4 安装hadoop220 如何使用 1 启动zookeeper 2 启动JournalNode集群 3 Hbase-0962-hadoop2 4 在ubuntu1
Hadoop学习笔记（一）-- Hadoop环境搭建
tl200366zhanhao的专栏
06-14 690
大数据是时下非常火的名词，而Hadoop作为大数据的一个平台也十分受欢迎，但是目前市面上的书籍针对的版本都比较低，根据用软件的原则， 要用就用最新的，所以想学习一下Hadoop-2.2.0，可是只有一些官方文档，还有网上的一些资料，发现并没有很系统的讲解Hadoop学习的，毕竟写博客也是比较辛苦的事情，坚持一两个月还行，真的要一直坚持下去，确实比较困难。
yarn的安装及配置
热门推荐
jieshdad的博客
07-07 1万+
编辑用户变量里的Path，将相应npm的路径（“C:\Users\用户名\AppData\Roaming\npm”）改为：“node_global的文件路径”这是 Node.js 模块缓存目录，用于存储通过 npm 或 Yarn 安装的模块的缓存文件。当你安装 Node.js 模块时，这些模块会首先被下载到。新建一个变量名为 “NODE_PATH”， 变量值为“node_modules\的目录”用于全局安装的 Node.js 模块的默认目录。标志安装 Node.js 模块时，这些模块将被安装到。
2020.9.14(hadoop-MapReduce-yarn集群的搭建)
超可爱慕之
09-14 410
目标：yarn的搭建，在上面跑MapReduce，自己写出代码 回顾： 1.最终去开发MapReduce计算程序 2.新版本，hadoop2.x 出现了yarn：资源管理 -> MR没有后台的长服务 yarn模型：container 容器，里面会运行我们的application master，map/reduce task 目的：解耦计算程序和资源调度 MapReduce on yarn 架构： 角色：resource manager 和 node manager 搭建：将角色变成相应的活动JVM运
大数据技术基础实验十二：YARN实验——部署YARN集群
北天的博客
11-09 2216
大数据技术基础实验十二，YARN集群配置启动。
hadoop之yarn
weixin_40645193的博客
11-13 258
YARN被引入Hadoop 2，最初是为了改善MapReduce 的实现，但它具有足够的通用性,同样可以支持其他的分布式计算模式。 YARN提供请求和使用集群资源的API，但这些API很少直接用于用户代码。相反，用户代码中用的是分布式计算框架提供的更高层API,这些API建立YARN之上且向用户隐藏了资源管理细节。 yarn中的调度: YARN调度器的工作就是根据既定策略为应用分配资源 ...
Hadoop2.0 HA安装完整版——Hadoop2.7.3
@羲凡—只为更好的活着
01-15 1687
@羲凡——只为了更好的活着 Hadoop2.0 HA安装完整版——Hadoop2.7.3 Hadoop从2008年发布，到现在已经11个年头了。Hadoop安装是任何一个大数据开发或运维人员都必须掌握的。本文尽可能详细的介绍hadoop 高可用的安装并对参数做一定的介绍(用 deplab 用户安装)。hadoop的安装都非常类似，无论是hadoop2.0版本还是hadoop3.0版本。此文中选择H...
红象云腾童小军：建立开放联盟，加速大数据处理，完善大数据生态
中国软件网
04-11 536
作者：刘学习  | 小编：小葱在大数据发展中，开源大数据平台Hadoop占据至关重要的地位。然而Gartner却连续多年唱衰 Hadoop。Gartner认为，尽管企业对大数据解决方案的需求不断增长，但对Hadoop的需求没有像预期那样加速。同时，25%的Spark已经开始脱离Hadoop生态单独运行。那么现在Spark崛起和Hadoop衰落了吗?“作为分布式系统基础架构，Hadoop在目前企业的
RDMA调研报告&一点随笔
weixin_30307921的博客
07-23 1291
计算所科研实践随笔 被淹没在论文海里的两个星期。 　　早上7:10分起床，草草洗漱，7:30出发，开始漫长的1小时通勤。从地铁站的安检口起，队便排的极长，让人看得头皮发麻。下到了轨道旁稍好，但每趟呼啸而来的地铁里都是满满当当，常常要等2,3趟我才能有幸站上去。我从不奢望座位。在等一趟不那么满的地铁的过程中，有时很满的地铁来了，门易开人墙难开，门快关时有些赶得急的人就踏上地铁背...
Spark安装与部署
05-18
介绍Spark生态和安装部署、Spark运行架构、Spark编程模型、Spark的多语言编程及Spark Streaming原理等知识与技术，通过课程的学习掌握Spark大数据基本原理，具备基于Spark构建数据分析系统的技能。本课程充分参考大数据行业工作应用情况，以真实系统的建立作为训练项目，主要强调实操性和技术的实际应用。
Hadoop2.0 YARN
what_how_why2020的博客
02-18 1237
前言：Hadoop2.0中的YARN
Hadoop 2.2.0集群搭建详解与步骤
本文档主要介绍了如何在Apache Hadoop 2.2.0版本下搭建一个集群环境，包括对HDFS (Hadoop Distributed File System) 和YARN (Yet Another Resource Negotiator) 的配置以及集群节点间的网络设置。以下将详细阐述每个...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值