博客专栏  >  云计算/大数据   >  Hadoop

Hadoop

Hadoop YARN HDFS MapReduce

关注
4 已关注
13篇博文
  • HDFS 2中Namenode启动时WebUI的变化

    在HDFS1中NameNode启动顺序是这样的: 1. 读取Fsimage文件 2. 读取edit logs文件,逐行执行里面的操作 3. 写checkpoint,生成新的Fsimage(老的F...

    2013-08-30 11:41
    2305
  • YARN & HDFS2 安装和配置Kerberos

    今天尝试在开发集群上配置Kerberos,遇到一些问题,记录一下 设置hadoop security core-site.xml hadoop.securi...

    2013-09-11 16:28
    9585
  • Hadoop 2.x(YARN)安装配置LZO

    今天尝试在Hadoop 2.x(YARN)上安装和配置LZO,遇到了很多坑,在这边记录整个安装配置过程 1. 安装LZO 下载lzo 2.06版本,编译64位版本,同步到集群中 wget http...

    2013-09-02 15:17
    5673
  • YARN加载本地库抛出Unable to load native-hadoop library解决办法

    用官方的Hadoop 2.1.0-beta安装后,每次hadoop命令进去都会抛出这样一个 WARN util.NativeCodeLoader: Unable to load native-hado...

    2013-08-30 10:30
    24323
  • ResourceManager架构解析

    RM作为master管理着所有的集群资源,它会和NM和特定application的AM共同工作 1. NodeManagers NM从RM中获得指令,并管理着单节点上可用资源 2. Applic...

    2013-08-22 17:15
    2286
  • 客户端MapReduce提交到YARN过程(二)

    客户端通过RPC协议ClientRMProtocol提交Application,其实是提交了一个SubmitApplicationRequest,在Hadoop 1.0时代,是使用Writable作为...

    2013-08-21 13:19
    1996
  • 客户端MapReduce提交到YARN过程(一)

    在Mapreduce v1中是使用JobClient来和JobTracker交互完成Job的提交,用户先创建一个Job,通过JobConf设置好参数,通过JobClient提交并监控Job的进展,在J...

    2013-08-20 14:42
    4770
  • Map/Reduce Task JVM 堆大小设置优化

    前一阵子发现用户提交的hive query和hadoop job会导致集群的load非常高,经查看配置,发现很多用户擅自将mapred.child.java.opts设置的非常大,比如-Xmx4096...

    2013-06-11 20:34
    11552
  • YARN安装配置初体验

    本安装在开发实验环境中部署,只涉及到全局资源管理调度系统YARN的安装,HDFS还是第一代,没有部署HDFS Federation和HDFS HA,后续会加上。 OS: CentOS Linux re...

    2013-08-19 12:10
    7042
  • 第二代map-reduce架构YARN解析

    需求 我们在考虑hadoop map-reduce框架的时候,最重要需求包括: 1. reliability 可靠性,主要是resource manager可靠性 2. availability 可用...

    2013-08-19 17:56
    3258
  • LZOP解压查看文件小trick

    我们的HDFS中有一部分落地数据是用LZO格式来压缩的(另一部分采用gz压缩的RCFile,MapReduce中间结果采用snappy压缩)。第一是因为它的压缩比和压缩/解压速度综合下来比较令人满意,...

    2013-08-23 11:53
    8456
  • MapReduce TotalOrderPartitioner 全局排序

    我们知道Mapreduce框架在feed数据给reducer之前会对map output key排序,这种排序机制保证了每一个reducer局部有序,hadoop 默认的partitioner是Has...

    2013-07-01 11:50
    5487
  • YARN Distributedshell解析

    Hadoop 2.0的源代码中实现了两个基于yarn的application,一个是MapReduce,另一个是被当做如何写application的示例程序----Distributedshell,可...

    2013-08-26 19:10
    4867
img博客搬家
img撰写博客
img专家申请
img意见反馈
img返回顶部