Hadoop
政教处挨批
这个作者很懒,什么都没留下…
展开
-
hadoop-2.5.1虚拟机上集群安装
0. 服务说明 NameNode NameNode是HDFS的守护程序,负责记录文件是如何分割成数据块的,以及这些数据块被存储到哪些数据节点上。它的功能是对内存及I/O进行集中管理。 DataNode 集群中每个从服务器都运行一个DataNode后台程序,后台程序负责把HDFS数据块读写到本地文件系统。需要读写数据时,由NameNode告诉客户端去哪个DataNode进行具体原创 2014-12-05 22:00:37 · 579 阅读 · 0 评论 -
eclipse + hadoop 远程文件操作中出现的问题
前提:项目中导入了需要的hadoop包(hadoop-2.5.1/share/)原创 2014-11-01 15:40:46 · 875 阅读 · 0 评论 -
hadoop-eclipse-2.5.1.jar的编译
条件:已经安装好Hadoop-2.5.1原创 2014-09-25 14:23:30 · 3842 阅读 · 7 评论 -
编译hadoop源码
一、首先下载hadoop源码包 下载的方式还是比较多的 1.svn的方式 svn下载首先需要安装SVN,如果想尝试使用svn,可以参考源码管理、获取网络源码工具:TortoiseSVN使用手册,hadoop的svn下载地址点此 2.压缩包的方式 这里我们介绍一种压缩包的方式。 首先我们登录官网: http://hadoop.apache.org/,我们找到下面链接,点进去下载即可。如原创 2014-09-21 14:45:40 · 1651 阅读 · 0 评论 -
ubuntu 12.04下安装并运行hadoop
介绍Hadoop的安装之前,先介绍一下Hadoop对各个节点的角色定义。 Hadoop分别从三个角度将主机划分为两种角色。第一,最基本的划分为Master和Slave,即主人与奴隶;第二,从HDFS的角度,将主机划分为NameNode和DataNode(在分布式文件系统中,目录的管理很重要,管理目录相当于主人,而NameNode就是目录管理者);第三,从MapReduce的角度,将主机划分为原创 2014-09-20 20:35:15 · 1534 阅读 · 0 评论