hadoop学习笔记
文章平均质量分 64
fufengrui
这个作者很懒,什么都没留下…
展开
-
hadoop学习笔记-2-安装
环境Windows XP + VMWare WorkStation7.1 +centos6虚拟机 + JDK1.7 + Hadoop0.20.2 centos安装JDK1.7(如果使用centos自带的jdk,忽略这一步)1. 在oracle官方网站下载最新的jdk1.7的i586的rpm包2. 双击rpm包运行,需要root授权,即可安装成功,也可使用命令原创 2012-10-31 16:57:39 · 908 阅读 · 0 评论 -
hadoop学习笔记-1-背景知识
Hadoop介绍 Apache™ Hadoop® 是一个高可靠性和高扩展的开源分布式计算软件。Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop 是可靠的,因为它假设计算元素和存储会失败,因此它维护多个工作数据副本,确保能够针对失败的节点重新分布处理。Hadoop 是高效的,因为它以并行的方式工作,通过并原创 2012-10-31 16:54:17 · 1022 阅读 · 0 评论 -
hadoop学习笔记-4-eclipse运行MapReduce
Eclipse安装1. 下载eclipse安装包:eclipse-SDK-4.2.1-Linux.tar.gz2. 解压到指定目录:例如/usr/local3. 运行./eclipse即可 使用Eclipse开发MapReduce程序1. 将hadoop安装目录的contribute/eclipse-plugin中的jar包拷贝至ec原创 2012-11-01 12:15:49 · 1936 阅读 · 1 评论 -
hadoop学习笔记-3-运行wordcount示例
1. 启动hadoop,运行命令:start-all.sh2. 在Linux创建输入目录和文件,mkdir ~/inputcd ~/inputecho “hello world” > text1.txtecho “hello hadoop” > text2.txt3. 将文件目录拷贝至hdfs中的in目录,并查看是否拷贝成功hadoop f原创 2012-11-01 12:09:16 · 1081 阅读 · 0 评论 -
hadoop学习笔记-5-最高气温示例MaxTemperature
学会了基本的配置,我们运行一下Hadoop in action中的第一个示例,求各年度的最高气温编写步骤1. 创建Mapreduce应用2. 编写代码(见代码部分)3. 上传原始数据文件(数据可以从这里下载:http://download.csdn.net/detail/fufengrui/4722996)4. 配置运行参数原创 2012-11-02 13:21:17 · 1779 阅读 · 3 评论 -
hadoop学习笔记-6-倒排索引InverseIndex
介绍倒排索引是将文章中的单词挑出来,排序,便于检索。利用map-reduce思想来实现,如下:原始文本及内容:doc1.txt:MapReduce is simpledoc2.txt:MapReduce ispowerful is simpledoc3.txt:Hello MapReduce byeMapReduce那么输出结果应该是这样子的:MapReduce:doc原创 2012-11-10 17:20:25 · 1388 阅读 · 0 评论 -
基于ECLIPSE的HADOOP1.0应用开发环境配置
好文章太少了,这个拿过来分享一下,原文链接:http://www.cnblogs.com/wly603/archive/2012/04/18/2454936.html*******************************************下面是正文**********************************************************转载 2012-05-18 16:14:13 · 1507 阅读 · 3 评论 -
hadoop 第二次启动 50030端口能打开 50070端口打不开
第一次启动好好的,第二次启动50030能打开,50070打不开,原因不知道,解决办法:执行以下命令:hadoop namenode -format重新格式化一下即可,原因进一步研究中原创 2012-05-18 10:32:33 · 5932 阅读 · 2 评论