HADOOP
文章平均质量分 81
fu_ding1991
勿忘初心,方得始终
展开
-
hadoop命令详解
一、用户命令 1、archive命令 (1).什么是Hadoop archives? Hadoop archives是特殊的档案格式。一个Hadoop archive对应一个文件系统目录。 Hadoop archive的扩展名是*.har。Hadoop archive包含元数据(形式是_index和_masterindx)和数据文件(part-*)。_index文件包含了档案中的文件的文转载 2015-03-29 11:31:55 · 360 阅读 · 0 评论 -
hadoop编译C++的openssl链接问题
hadoop的工程是我在电脑上重新编译成32位的,但是直接使用hadoop权威指南的C++文件以及makefile会报错。makefile:cc = g++ CPPFLAGS = -m32 -I$(HADOOP_DEV_HOME)/includemaxTemperature:MaxTemperature.cpp $(cc) $(CPPFLAGS) $< -lm -Wall -L$(HADOO原创 2015-03-26 22:04:14 · 1722 阅读 · 0 评论 -
基于Nutch和Hadoop的简易搜索引擎
最近和寝室的同学一起搭建了Hadoop的集群,实现了一个简易的本地搜索引擎,并且将其开源到了github上:https://github.com/ifuding/search-1047,接下来的几篇博文将对这个项目及其代码作一些详细的描述。搜索原理概述“搜索”,简而言之就是要分析用户输入然后输出给用户已经排好序的URL集合。一个简单的实现所需要的排序依据主要就是文本检索以及url的PageRank值原创 2015-04-22 15:35:16 · 2827 阅读 · 2 评论 -
Hadoop java交叉编译
系统:ubuntu 14.04 HADOOP VERSION: 2.6.0 32bits在装好hadoop并且开启dfs和yarn以后,用JPS检查能看到一下六个进程:14779 DataNode 15322 NodeManager 14657 NameNode 15194 ResourceManager 17656 Jps 14979 SecondaryNameNode接下来我们需要运行Word原创 2015-03-29 12:05:48 · 1392 阅读 · 0 评论 -
将Hadoop中SequenceFile,MapFile转换为文本文件
前段时间一直在准备实习的事情,没有更新项目相关的博客。最近才通过了百度的实习生面试,面试的时候这个小项目助力不少,所以又想来补充一下前面没有分享的一些项目经验。Hadoop输入输出格式Hadoop中mapper的输入必须是(key, value)格式的。若输入文件类型为文本格式,这也是默认的输入文件类型。则key是行号,value就是这一行对应的文本。 同理reducer输出的默认格式也是文本,输原创 2015-06-15 14:36:41 · 2144 阅读 · 0 评论 -
Hadoop FS Shell命令
FS Shell调用文件系统(FS)Shell命令应使用 bin/hadoop fs args> 的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path 。对 HDFS文件系统,scheme是hdfs ,对本地文件系统,scheme是file 。其中scheme和 authority参数都是可选的,如果未加指定,就会使用转载 2015-03-28 11:46:44 · 610 阅读 · 0 评论