Hadoop
文章平均质量分 62
杨智友
这个作者很懒,什么都没留下…
展开
-
YARN
YARNApache YARN(Yet Another Resource Negotiator) 是Hadoop集群的资源管理系统。YARN为应用使用提供请求集群资源的API,对使用者而言,这些分布式计算框架的细节被YARN的资源管理所隐藏。下图展示的是分布式计算框架(MapReduce,spark等)运行在集群计算层(YARN)和集群存储层(HDFS,HBase)上。其中pig,hive等是调用M原创 2016-07-23 16:59:33 · 415 阅读 · 0 评论 -
centos7搭建hadoop2.7.2完全分布式集群
centos7搭建hadoop2.7.2完全分布式集群我之前使用的是centos6.8安装hadoop2.7.2,但报错如下:WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable.是由于缺少hadoo原创 2016-08-02 14:09:44 · 2964 阅读 · 0 评论 -
配置Hadoop2.xx的高可用(Hadoop2.0 HA)
配置Hadoop2.xx的高可用(Hadoop2.0 HA)在Hadoop2.0以前,由于只有一个NameNode,存在单点故障的问题;在Hadoop2.0中的HA解决了该问题。hadoop2.0中HDFS的高可靠指的是可以同时启动2个NameNode。其中一个处于工作状态,另一个处于随时待命状态。这样,当一个NameNode所在的服务器宕机时,可以在数据不丢失的情况下,手工或者自动切换到另一个Na原创 2016-08-14 19:55:40 · 491 阅读 · 0 评论 -
ubuntu安装Hadoop的问题
前提是你已经安装好Hadoop了,该篇blog是讲怎么安装,安装请进:http://blog.csdn.net/yangzhiyouvl/article/details/52093719问题描述:Hadoop能够正常启动,jps 命令能够查看到所有的节点。但是上传文件会失败,报错为:put: File /input/1.txt.COPYING could only be replicated to原创 2017-04-12 15:42:41 · 567 阅读 · 0 评论