Hadoop专栏
实验总结hadoop集群框架的环境搭建,包括mapreduce2 yarn的搭建与简介。
--大数据基础
dreamfly2014
这个作者很懒,什么都没留下…
展开
-
单独配置secondarynamenode
这是在我之前yarn框架上通过添加节点,修改相关的配置文件,使得secondarynamenode独立出来的,所以这里前期的一系列琐碎配置请参考我之前的博客:http://blog.csdn.net/u014078192/article/details/27992567我会在这基础上讲述如何将secondarynamenode抽调出来。原创 2014-06-04 11:11:15 · 2005 阅读 · 0 评论 -
实现windows操作系统和VB下Linux虚拟操作系统相互传取文件方式总结
实现windows操作系统和Linux虚拟操作系统相互传取文件方式总结原创 2014-05-28 10:33:15 · 1803 阅读 · 0 评论 -
hadoop备战:yarn框架的搭建(mapreduce2)
x86台式机,window7 64位系统wmware虚拟机(x86的台式机至少是4G内存,才能开2台虚机)centos6.4操作系统hadoop-2.2.0.tar.gzjdk-6u24-linux-i586.binWinScp 远程文件传输工具,很好用。可以用于windows和虚拟机Linux之间文件相互拷贝。原创 2014-06-01 22:30:38 · 1774 阅读 · 0 评论 -
hadoop备战:yarn框架的简介(mapreduce2)
hadoop yarn的重构,根本的思想是将 JobTracker 两个主要的功能分离成单独的组件,这两个功能是资源管理和任务调度 / 监控。新的资源管理器全局管理所有应用程序计算资源的分配,每一个应用的 ApplicationMaster 负责相应的调度和协调。一个应用程序无非是一个单独的传统的 MapReduce 任务或者是一个 DAG( 有向无环图 ) 任务。ResourceManager 和每一台机器的节点管理服务器能够管理用户在那台机器上的进程并能对计算进行组织。原创 2014-06-01 21:37:08 · 3066 阅读 · 0 评论 -
hadoop备战:hbase的分布式安装经验
配置HBase时,首先考虑的肯定是Hbase版本与你所装的hadoop版本是否匹配,这一点我在之前的博客中已经说明清楚,hadoop版本与hbase版本的匹配度,那是官方提供的。下面的实验就是本人没参照版本匹配尝试投机的方法,出现了错误。原创 2014-05-29 19:10:50 · 2129 阅读 · 0 评论 -
hadoop备战:一台x86计算机搭建hadoop的全分布式集群
一台x86计算机搭建hadoop的全分布式集群原创 2014-05-25 22:32:07 · 3163 阅读 · 0 评论