Hadoop
文章平均质量分 94
xiatianba
这个作者很懒,什么都没留下…
展开
-
Hadoop2.5.2安装——单机模式
转载请出自出处:http://eksliang.iteye.com/blog/2185414一、概述 Hadoop有三种模式 单机模式、伪分布模式和完全分布模式,这里先简单介绍单机模式 ,默认情况下,Hadoop被配置成一个非分布式模式,独立运行JAVA进程,适合开始做调试工作。 二、下载地址Hadoop 网址http://hadoop.apache.org/ ...原创 2015-02-12 16:23:17 · 184 阅读 · 0 评论 -
Hadoop2.5.2安装——伪分布式模式
转载请出自出处:http://eksliang.iteye.com/blog/2191493一、下载hadoop的的部署文件我这里是使用当前的最高版本:2.5.2下载地址http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.5.2/部署hadoop伪分布式之前,请确保当前系统已经安装了jdk二、新建hadoop用户 ...原创 2015-03-11 15:37:10 · 158 阅读 · 0 评论 -
haoop shell命令
catchgrpchmodchowncopyFromLocalcopyToLocalcpdudusexpungegetgetmergelslsrmkdirmovefromLocalmvputrmrmrsetrepstattailtesttexttouchzFS Shell调用文件系...原创 2015-03-19 09:44:25 · 107 阅读 · 0 评论 -
eclipse 下安装hadoop2.5.2插件
一.hadoop集群环境配置(完整配置参考上一篇博客) 1.在master节点上(master)修改hdfs-site.xml加上以下内容 <property> <name>dfs.permissions</name> <value>false</value> </property> 旨在取消权限检查,原因是为了解决我在wi...2015-04-03 09:39:17 · 96 阅读 · 0 评论 -
hadoop2.2.0目录结构
一.hadoop2.0的目录结构如下图所示 二.bin目录Hadoop最基本的管理脚本和使用脚本所在目录,这些脚本是sbin目录下管理脚本的基础实现,用户可以用这些脚本管理和使用hadoop 三.etc目录hadoop配置文件所在的目录,包括core-site.xml、hdfs-site.xml、mapred-site.xml等从hadoop1.0继承而来的配置文件和y...原创 2015-05-07 16:49:25 · 128 阅读 · 0 评论 -
Hadoop2.5.2集群部署
一、环境转载请出至出处:http://eksliang.iteye.com/blog/2223784准备3台虚拟机,安装Centos 64-bit操作系统。192.168.177.131 mast1.com mast1192.168.177.132 mast2.com mast2192.168.177.133 mast3.com mast3其中mast1充当Name...原创 2015-07-02 16:23:47 · 111 阅读 · 0 评论 -
Hadoop2.5.2 HA高可靠性集群搭建(Hadoop+Zookeeper)
一.概述转载请出自出处:http://eksliang.iteye.com/blog/22269861.1 hadoop1.0的单点问题Hadoop中的NameNode好比是人的心脏,非常重要,绝对不可以停止工作。在hadoop1时代,只有一个NameNode。如果该NameNode数据丢失或者不能工作,那么整个集群就不能恢复了。这是hadoop1中的单点问题,也是hadoop1不...2015-07-13 17:30:12 · 234 阅读 · 0 评论 -
MapReduce详解
转载请出自出处:http://eksliang.iteye.com/blog/2228705一.Hadoop1.0中MapReduce的组成1.从功能模块角度客户端:提交MapReduce作业;JobTracker:1.作业调度:将一个作业(Job)分成若干个子任务分发到taskTraker中去执行2.任务监控:TaskTracker发送心跳给JobTracke...2015-07-20 11:23:40 · 139 阅读 · 0 评论