博客专栏  >  云计算   >  Hadoop

Hadoop

关注Hadoop的发展,学习Hadoop理论和源代码,并致力于将Hadoop应用在大数据领域,提供有效的数据分析方案

关注
36 已关注
49篇博文
  • Hadoop-2.4.1学习之InputFormat及源代码分析

    本篇文章讲述了InputFormat及其子类,并结合源代码详细分析了FileInputFormat如何读取InputSplit及处理行跨越两个InputSplit的问题

    2015-01-13 16:57
    2715
  • Hadoop-2.4.1学习之FileSystem及实战

    本篇文章学习了Hadoop的FileSystem及其子类,详细介绍了get和newInstance的区别并介绍了若干API方法,最后给出了一个简单的实例

    2014-12-30 13:40
    2837
  • Hadoop-2.4.1学习之Writable及其实现

    本文学习了Writable及WritableComparable接口,并结合IntWritable和Text类介绍了具体的实现,最后给出了一个自定义的WritableComparable类

    2014-12-23 09:49
    2383
  • Hadoop-2.4.1学习之RawComparator及其实现

    本篇文章结合源代码学习了RawComparator接口及其实现,并分析了不同实现的区别

    2014-12-19 14:59
    2200
  • Hadoop-2.4.1学习之Map任务源码分析(下)

    对Map任务的SORT阶段源代码进行了学习和分析

    2014-12-16 14:13
    1969
  • Hadoop-2.4.1学习之Map任务源码分析(上)

    通过源代码分析了Map任务的map阶段

    2014-12-10 14:45
    2336
  • Hadoop-2.4.1学习之高可用ResourceManager

    本文介绍了ResourceManager的HA特性,并详细描述了如何配置RM的HA及自动故障转移

    2014-12-04 16:33
    4243
  • Hadoop-2.4.1学习之ResourceManager重启

    本文翻译自hadoop官网的ResourceManager Restart一文,主要讲解了ResourceManager在遇到故障重启后而不影响重启前的应用程序的特性,以及如何配置ResourceMa...

    2014-11-27 14:38
    4352
  • Hadoop-2.4.1学习之容量调度器

    本篇文章学习了hadoop中容量调度器的特性,并详细描述了配置参数

    2014-11-21 17:00
    3829
  • Hadoop-2.4.1学习之Streaming编程

    本篇文章学习了如何编写hadoop streaming程序,重点讲述了工作原理及用到的各种参数

    2014-11-17 11:11
    2859
  • Hadoop-2.4.1学习之如何确定Mapper数量

    本篇文章通过源代码分析了在输入格式为TextInputFormat的情况下,hadoop-2.4.1如何确定Mapper任务的数量

    2014-11-11 16:23
    3956
  • Hadoop-2.4.1学习之Mapper和Reducer

    Hadoop-2.4.1中MapReduce作业的Mapper和Reducer综述

    2014-11-05 11:30
    4194
  • Hadoop-2.4.1学习之HDFS文件权限和ACL

    之前在论坛看到一个关于HDFS权限的问题,当时无法回答该问题。无法回答并不意味着对HDFS权限一无所知,而是不能准确完整的阐述HDFS权限,因此决定系统地学习HDFS文件权限。HDFS的文件和目录权限...

    2014-11-02 14:40
    8624
  • Hadoop-2.4.1学习之edits和fsimage查看器

    在hadoop中edits和fsimage是两个至关重要的文件,其中edits负责保存自最新检查点后命名空间的变化,起着日志的作用,而fsimage则保存了最新的检查点信息。这个两个文件中的内容使用普...

    2014-10-31 10:31
    3433
  • Hadoop-1.2.1学习之Job创建和提交源代码分析

    在Hadoop中,MapReduce的Java作业通常由编写Mapper和Reducer开始,接着创建Job对象,然后使用该对象的set方法设置Mapper和Reducer以及诸如输入输出等参数,最后...

    2014-10-27 16:05
    2244
  • Hadoop-2.4.1学习之HDFS快照

    HDFS快照是文件系统的只读的实时的拷贝,可以是文件系统的一部分或者整个文件系统。快照的一些通用场景是数据备份,对用户错误的保护和灾难恢复。HDFS的快照实现是高效的: l  快照的创建时瞬间完成的...

    2014-10-23 14:03
    2597
  • Hadoop-2.4.1学习之ViewFs

    视图文件系统(View File System ,ViewFs)提供了管理多个Hadoop文件系统命名空间的方式,该系统在HDFS联盟的集群中有多个NameNode(因此有多个命名空间)是特别有用。V...

    2014-10-22 11:37
    2749
  • Hadoop-2.4.1学习之QJM HA的自动故障转移

    前面学习了使用命令hdfs haadmin -failover手动进行故障转移,在该模式下,即使现役NameNode已经失效,系统也不会自动从现役NameNode转移到待机NameNode,下面学习如...

    2014-10-20 15:11
    3452
  • Hadoop-2.4.1学习之使用Quorum Journal Manager的HDFS的高可用性(三)

    在学习了如何配置HA后,接下来是启动和管理HA。要启动HA集群,首先要在所有运行JournalNode的主机上启动JournalNodes守护进程,可以在每台主机上执行命令hdfs journalno...

    2014-10-17 21:33
    2339
  • Hadoop-2.4.1学习之使用Quorum Journal Manager的HDFS的高可用性(二)

    在了解了HA的特性和架构后,接下来学习如何配置管理HA,在学习与配置HA有关的参数之前,先明确部署HA所需要的主机数量。由HA的架构可知,存在两个NameNode主机,一个为现役NameNode主机,...

    2014-10-14 16:06
    2142

勤奋的Hive
33187005
Nutch-2.X
1078956
img博客搬家
img撰写博客
img专家申请
img意见反馈
img返回顶部