博客专栏  >  云计算/大数据   >  Hadoop私房菜

Hadoop私房菜

该专栏主要总结Hadoop生态系统相关技术,以及在实际工作中遇到的Hadoop相关的问题总结

关注
4 已关注
15篇博文
  • yarn内存配置指南

    yarn中需要配置很多内存,比如

    2014-07-14 19:24
    3634
  • Hive创建TABLE_PARAMS表失败

    今天,通过HiveMetaStoreClient查询Hive的表信息,

    2014-05-20 15:30
    1601
  • Hadoop 开源调度系统zeus(二)

    紧跟之前Hadoop 开源调度系统zeus(一) 本节主要介绍一下

    2014-06-22 18:41
    2275
  • Hadoop 开源调度系统zeus(一)

    大数据分析中,经常使用Hadoop来做离线

    2014-05-23 20:44
    5260
  • Hadoop源码导入Eclipse

    需要进一步学习hadoop、需要看看内部源码实现,因此需要将hadoop源码导入都eclipse中,简单总结一下,具体步骤如下: 首先确保已经安装了git、maven3、protobuf2.5、如果...

    2014-07-04 17:03
    2444
  • MapReduce编程实例(二)-MR2操作MySQL

    MR2中如果需要从数据库中读取或者写入数据,需要自己实现Writable和DBWritable两个接口,同时还需在DBConfiguration对数据库的元信息做相应配置。 下面这个例子是Hadoo...

    2014-03-18 17:29
    1003
  • 图文详解Apache Ambari 1.4.4安装

    Apache Ambari 1.4.4安装指南 操作系统: CentOS6 集群机器列表: hadoop.master.com(192.168.1.204) hadoop.slave1.com(192...

    2014-03-14 17:00
    2413
  • Hadoop2中的日志

    日志是定位问题最重要的手段,hadoop2中的日志主要有三类:系统日志;应用日志(Job);标准输出 系统日志 系统日志指各个组件打印的日志,如resourcemanager、namenode等,系统...

    2014-03-11 20:32
    2096
  • MapReduce编程实例(一)-求平均数

    开始学习写一些MR编程实例,工作中即将使用(刚刚开始,如果有错误和建议,欢迎指出) 现在有一个文件,里面记录了全校所有学生各科成绩,求每个学生的平均成绩,格式如下 小明 语文 92 ...

    2014-03-10 12:00
    1589
  • 研磨Hadoop源码(六)ResourceManager启动分析2

    紧接上一篇http://blog.csdn.net/yangfei001/article/details/18674357 这里主要从源码分析一下ResourceManager的main方法主要做了哪...

    2014-02-26 18:53
    1075
  • 研磨Hadoop源码(五)ResourceManager启动分析1

    之前分析的估计过于细了,从这篇开始,分析一下ResourceManager的起点过程,这是第一篇,先分析一下shell部分 1、起点hadoop最简单的方式是执行$HADOOP_HOME/sbin/s...

    2014-01-22 21:22
    1722
  • 研磨Hadoop源码(四)Hadoop Rack Awareness(机架感知)

    今天跟小伙伴讨论一下hadoop的机架感知机会,又去刨了一下hadoop源码,初略的知道了hadoop机架感知实现      首先我们都知道hadoop默认会将数据存储三份,存储策略为本地一份,同机架...

    2013-12-27 17:26
    1399
  • 研磨Hadoop源码(三)-yarn-RMContainerTokenSecretManager

    ResourceManager的另一个重要成员:该类主要定时生成ResourceManager容器的密匙,NodeManager定期上来更新,以保证每个NodeManager都是活的并且都是系统安全识...

    2013-12-23 21:13
    781
  • 研磨Hadoop源码(二)-yarn-ClientToAMTokenSecretManagerInRM

    由于hadoop2中最大,也炒的比较火的就是yarn,所以先看看yarn,关于yarn是什么东西或者架构,这里就不做详细说明,网上随便一搜就有了,给一个yarn的整体架构图 从上图可知,ya...

    2013-12-23 20:33
    2790
  • 研磨Hadoop源码(一)

    hadoop源码分析系列说明 一直想看看Hadoop的源码,之前虽然看了一点点,但是也没有在大脑(内存)中的信息保存到笔记(硬盘)中,所以在近期开始认真研读Hadoop源码,并将自己的理解记录下来。 ...

    2013-12-23 20:07
    902

img博客搬家
img撰写博客
img发布 Chat
img专家申请
img意见反馈
img返回顶部