![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Linux
文章平均质量分 81
fu_ding1991
勿忘初心,方得始终
展开
-
Linux makefile 教程 非常详细,且易懂
最近在学习Linux下的C编程,买了一本叫《Linux环境下的C编程指南》读到makefile就越看越迷糊,可能是我的理解能不行。 于是google到了以下这篇文章。通俗易懂。然后把它贴出来,方便学习。 后记,看完发现这篇文章和《Linux环境下的C编程指南》的makefile一章所讲述的惊人的相似,只是这篇文章从一个实例切入,在有些地方比转载 2015-03-26 10:42:12 · 794 阅读 · 0 评论 -
g++ -L 和-l && -I参数
-l参数和-L参数-l参数就是用来指定程序要链接的库,-l参数紧接着就是库名,那么库名跟真正的库文件名有什么关系呢?就拿数学库来说,他的库名是m,他的库文件名是libm.so,很容易看出,把库文件名的头lib和尾.so去掉就是库名了。好了现在我们知道怎么得到库名了,比如我们自已要用到一个第三方提供的库名字叫libtest.so,那么我们只要把libtest.so拷贝到/转载 2015-03-26 15:49:53 · 29207 阅读 · 3 评论 -
hadoop编译C++的openssl链接问题
hadoop的工程是我在电脑上重新编译成32位的,但是直接使用hadoop权威指南的C++文件以及makefile会报错。makefile:cc = g++CPPFLAGS = -m32 -I$(HADOOP_DEV_HOME)/includemaxTemperature:MaxTemperature.cpp $(cc) $(CPPFLAGS) $< -lm -Wall -L$(HADOO原创 2015-03-26 22:04:14 · 1734 阅读 · 0 评论 -
hadoop命令详解
一、用户命令1、archive命令(1).什么是Hadoop archives?Hadoop archives是特殊的档案格式。一个Hadoop archive对应一个文件系统目录。 Hadoop archive的扩展名是*.har。Hadoop archive包含元数据(形式是_index和_masterindx)和数据文件(part-*)。_index文件包含了档案中的文件的文转载 2015-03-29 11:31:55 · 365 阅读 · 0 评论 -
基于Nutch和Hadoop的简易搜索引擎
最近和寝室的同学一起搭建了Hadoop的集群,实现了一个简易的本地搜索引擎,并且将其开源到了github上:https://github.com/ifuding/search-1047,接下来的几篇博文将对这个项目及其代码作一些详细的描述。搜索原理概述“搜索”,简而言之就是要分析用户输入然后输出给用户已经排好序的URL集合。一个简单的实现所需要的排序依据主要就是文本检索以及url的PageRank值原创 2015-04-22 15:35:16 · 2841 阅读 · 2 评论 -
Hadoop java交叉编译
系统:ubuntu 14.04 HADOOP VERSION: 2.6.0 32bits在装好hadoop并且开启dfs和yarn以后,用JPS检查能看到一下六个进程:14779 DataNode15322 NodeManager14657 NameNode15194 ResourceManager17656 Jps14979 SecondaryNameNode接下来我们需要运行Word原创 2015-03-29 12:05:48 · 1398 阅读 · 0 评论 -
将Hadoop中SequenceFile,MapFile转换为文本文件
前段时间一直在准备实习的事情,没有更新项目相关的博客。最近才通过了百度的实习生面试,面试的时候这个小项目助力不少,所以又想来补充一下前面没有分享的一些项目经验。Hadoop输入输出格式Hadoop中mapper的输入必须是(key, value)格式的。若输入文件类型为文本格式,这也是默认的输入文件类型。则key是行号,value就是这一行对应的文本。 同理reducer输出的默认格式也是文本,输原创 2015-06-15 14:36:41 · 2153 阅读 · 0 评论 -
Hadoop FS Shell命令
FS Shell调用文件系统(FS)Shell命令应使用 bin/hadoop fs args> 的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path 。对 HDFS文件系统,scheme是hdfs ,对本地文件系统,scheme是file 。其中scheme和 authority参数都是可选的,如果未加指定,就会使用转载 2015-03-28 11:46:44 · 616 阅读 · 0 评论