hadoop
_love
这个作者很懒,什么都没留下…
展开
-
hadoop简介
Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。 对于Hadoop的集群来讲,可以分成两大类角色:Master和Salve。一个HDFS集...原创 2013-03-21 18:58:59 · 222 阅读 · 0 评论 -
Hadoop报错:NoRouteToHostException: No route to host
Hadoop报错:NoRouteToHostException: No route to host 解决办法通常是要关闭防火墙 查看日志文件,只说是No route to host没有提端口的事,解决方案是所有主机的关闭防火墙。 namenode和slave节点都要关闭 #service iptables stop ...原创 2013-03-22 13:04:45 · 413 阅读 · 0 评论 -
hadoop完全分布式安装(一)
hadoop完全分布式安装步骤 1)查看当前机器名称 Hostname 2)修改当前机器名称 Vi /etc/sysconfig/network 3)修改当前机器IP vim /etc/sysconfig/network-scripts/ifcgf-eth0 4)配置hosts文件 Vi /etc/hosts 以上步骤要求各节点之间互相ping通...原创 2013-04-09 19:27:53 · 130 阅读 · 0 评论 -
hadoop完全分布式安装(二)
hadoop完全分布式详细步骤 文章出处:http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html 写的非常好!原创 2013-04-09 19:49:50 · 134 阅读 · 0 评论 -
Warning: $HADOOP_HOME is deprecated.
在启动hadoop时出现如下警告,如下所示。 编辑"/etc/profile"文件,添加一个环境变量,之后警告消失: export HADOOP_HOME_WARN_SUPPRESS=1 参考文章:http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html ...原创 2013-04-11 09:45:07 · 149 阅读 · 0 评论 -
hadoop运行WordCount实例
创建文件夹 1.创建文件夹"file"。 2.进入file文件夹,创建两个文本文件file1.txt和file2.txt,使file1.txt内容为"Hello World",而file2.txt的内容为"Hello Hadoop"。 3.在HDFS上创建输入文件夹in 4.上传本地file中文件到集群的in目录下 在集群上运行WordCount程序 ...原创 2013-04-24 14:59:32 · 871 阅读 · 0 评论 -
hdfs常用操作
列出hdfs文件 列出hdfs目录下的文档中的文件 上传文件到hdfs并命名为file 将hdfs中的文件复制到本地系统中,此处对象为文件夹 删除hdfs下的文档 查看hdfs下的某个文件 用get命令操作文件,此处对象为文件 ...原创 2013-05-03 20:50:38 · 254 阅读 · 0 评论 -
CentOS上hadoop伪分布式配置
安装linux 详细步骤参考文章:http://hermosa-young.iteye.com/admin/blogs/1776184 安装java 详细步骤参考文章:http://hermosa-young.iteye.com/admin/blogs/1798026 在官网上下载Hadoop 地址:http://labs.mop.com/apache-mirror/ha...原创 2013-02-14 19:08:16 · 162 阅读 · 0 评论 -
VirtualBox复制虚拟机
在Virtual Box上安装好一台虚拟机后,如果能把虚拟机的硬盘文件(VDI文件)复制一份是不是就又有了一台全新的操作系统啦?这样可以省去几十分钟的安装时间呢,答案是肯定的,但是这个复制过程需要一个小技巧,复制出来的VDI文件无法在虚拟介质管理器中注册,因为每个VDI文件都有一个唯一的uuid,而VirtualBox不允许注册重复的uuid。 在VBox的安装目录下有一个VBo...原创 2013-02-28 18:44:08 · 689 阅读 · 0 评论