Hadoop
文章平均质量分 94
xiatianba
这个作者很懒,什么都没留下…
展开
-
Hadoop2.5.2安装——单机模式
转载请出自出处:http://eksliang.iteye.com/blog/2185414 一、概述 Hadoop有三种模式 单机模式、伪分布模式和完全分布模式,这里先简单介绍单机模式 ,默认情况下,Hadoop被配置成一个非分布式模式,独立运行JAVA进程,适合开始做调试工作。 二、下载地址 Hadoop 网址http://hadoop.apache.org/ ...原创 2015-02-12 16:23:17 · 184 阅读 · 0 评论 -
Hadoop2.5.2安装——伪分布式模式
转载请出自出处:http://eksliang.iteye.com/blog/2191493 一、下载hadoop的的部署文件 我这里是使用当前的最高版本:2.5.2下载地址 http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.5.2/ 部署hadoop伪分布式之前,请确保当前系统已经安装了jdk 二、新建hadoop用户 ...原创 2015-03-11 15:37:10 · 158 阅读 · 0 评论 -
haoop shell命令
cat chgrp chmod chown copyFromLocal copyToLocal cp du dus expunge get getmerge ls lsr mkdir movefromLocal mv put rm rmr setrep stat tail test text touchz FS Shell 调用文件系...原创 2015-03-19 09:44:25 · 107 阅读 · 0 评论 -
eclipse 下安装hadoop2.5.2插件
一.hadoop集群环境配置(完整配置参考上一篇博客) 1.在master节点上(master)修改hdfs-site.xml加上以下内容 <property> <name>dfs.permissions</name> <value>false</value> </property> 旨在取消权限检查,原因是为了解决我在wi...2015-04-03 09:39:17 · 96 阅读 · 0 评论 -
hadoop2.2.0目录结构
一.hadoop2.0的目录结构如下图所示 二.bin目录 Hadoop最基本的管理脚本和使用脚本所在目录,这些脚本是sbin目录下管理脚本的基础实现,用户可以用这些脚本管理和使用hadoop 三.etc目录 hadoop配置文件所在的目录,包括core-site.xml、hdfs-site.xml、mapred-site.xml等从hadoop1.0继承而来的配置文件和y...原创 2015-05-07 16:49:25 · 128 阅读 · 0 评论 -
Hadoop2.5.2集群部署
一、环境 转载请出至出处:http://eksliang.iteye.com/blog/2223784 准备3台虚拟机,安装Centos 64-bit操作系统。 192.168.177.131 mast1.com mast1 192.168.177.132 mast2.com mast2 192.168.177.133 mast3.com mast3 其中mast1充当Name...原创 2015-07-02 16:23:47 · 111 阅读 · 0 评论 -
Hadoop2.5.2 HA高可靠性集群搭建(Hadoop+Zookeeper)
一.概述 转载请出自出处:http://eksliang.iteye.com/blog/2226986 1.1 hadoop1.0的单点问题 Hadoop中的NameNode好比是人的心脏,非常重要,绝对不可以停止工作。在hadoop1时代,只有一个NameNode。如果该NameNode数据丢失或者不能工作,那么整个集群就不能恢复了。这是hadoop1中的单点问题,也是hadoop1不...2015-07-13 17:30:12 · 234 阅读 · 0 评论 -
MapReduce详解
转载请出自出处:http://eksliang.iteye.com/blog/2228705 一.Hadoop1.0中MapReduce的组成 1.从功能模块角度 客户端:提交MapReduce作业; JobTracker: 1.作业调度:将一个作业(Job)分成若干个子任务分发到taskTraker中去执行 2.任务监控:TaskTracker发送心跳给JobTracke...2015-07-20 11:23:40 · 139 阅读 · 0 评论