ATCO[这里,只是顺手插曲]

KEEP住个势,努力!

zookeeper信息查看工具

公司很多产品会使用zookeeper,比如Meta消息中间件,在测试的过程中,我们经常需要查询zookeeper里面的信息来精确定位问题。目前项目中有开发团队自己写的浏览器node-zk-browser,是基于node.js的express.js框架和node-zookeeper客户端实现的,具体...

2013-10-30 15:18:22

阅读数 12599

评论数 0

Nutch 1.3 学习笔记 8 LinkDb

这里主要是分析一下org.apache.nutch.crawl.LinkDb,它主要是用计算反向链接。 1. 运行命令 bin/nutch invertlinks 帮助参数说明: [html] view plaincopy Usage...

2013-10-21 14:27:07

阅读数 703

评论数 0

Nutch 1.3 学习笔记 7 CrawlDb - updatedb

这里主要看一下CrawlDb中的updatedb,它主要是用来更新CrawlDb数据库的 1. bin/nutch updatedb 我们用nutch的命令行时会看到一个方法叫updatedb,其实这个方法就是调用CrawlDb.java类中的update方法,它的参数帮助如下...

2013-10-21 14:26:39

阅读数 778

评论数 0

Nutch 1.3 学习笔记 6 ParseSegment

1. bin/nutch parse 这个命令主要是用来解析抓取的内容,对其进行外链接分析,计算分数等操作,这个解析在抓取的时候就可以设置是否进行,如果在抓取的时候没有设置解析抓取的网页内容,那这边可以单独用一个Map-Reduce任务来做。 后面的参数为:Usage: ParseSegmen...

2013-10-21 14:26:09

阅读数 791

评论数 0

Nutch 1.3 学习笔记 5-1 FetchThread

上一节看了Fetcher中主要几个类的实现,这一节会来分析一下其中用到的消费者FetcherThread,来看看它是干嘛的。 1. Fetcher的Mapp模型 Fetcher.java代码中可以看到,Fetcher继承自MapRunable,它是Mapper的抽象接口,实现这...

2013-10-21 14:25:26

阅读数 616

评论数 0

Nutch 1.3 学习笔记 5 Fetcher

1. Fetcher模块的简单介绍 Fetcher这个模块在Nutch中有单独一个包在实现,在org.apache.nutch.fetcher,其中有Fetcher.java, FetcherOutput 和FetcherOutputFormat来组成,看上去很简单,但其中使用到了多线程,多线程...

2013-10-21 14:24:59

阅读数 609

评论数 0

Nutch 1.3 学习笔记 4-1 SegmentReader分析

前面我们看了一下Generate的流程,它是为Fetch产生相应的fetchlist,这里想介绍一下Segment的查看工具SegmentReader类。 1. 命令介绍 [html] view plaincopy bin/nutch ...

2013-10-21 14:24:30

阅读数 594

评论数 0

Nutch 1.3 学习笔记 4 Generate

1. Generate的作用    在Inject之后就是Generate,这个方法主要是从CrawlDb中产生一个Fetch可以抓取的url集合(fetchlist),再结合一定的过滤条件,它的命令行如下:     [html] view plaincopy ...

2013-10-21 14:23:58

阅读数 766

评论数 0

nutch 1.3 学习笔记3-1 Inject CrawlDB Reader

上次我们分析了Inject的整个流程,其中说到了Inject的输出格式是MapSequenceFileOutputFormat,这个格式可以使用一个叫CrawlDbReader的工具来读取和分析。下面我们就来分析一下这个工具有哪些用。 1. CrawlDbReader工具的使用方法  ...

2013-10-21 14:23:21

阅读数 597

评论数 0

Nutch 1.3 学习笔记 - Inject

1. Inject是干嘛的? 在Nutch中Inject是用来把文本格式的url列表注入到抓取数据库中,一般是用来引导系统的初始化。 这里的文本格式如下: [html] view plaincopy http://www.nutch.org/ \t ...

2013-10-21 14:22:33

阅读数 1108

评论数 0

Nutch 学习笔记 2

1. Nutch 1.3 运行命令的一些介绍    要看Nutch的命令说明,可执行如下命令bin/nutch    [html] view plaincopy  Usage: nutch [-core] COMMAND       where C...

2013-10-21 14:21:54

阅读数 608

评论数 0

Nutch 1.3 学习笔记1

1. Nutch是什么? Nutch是一个开源的网页抓取工具,主要用于收集网页数据,然后对其进行分析,建立索引,以提供相应的接口来对其网页数据进行查询的一套工具。其底层使用了Hadoop来做分布式计算与存储,索引使用了Solr分布式索引框架来做,Solr是一个开源的全文索引框架,从Nutch 1...

2013-10-21 14:21:03

阅读数 647

评论数 0

IIS6.0中布署MVC站点

网站是vs2008 + MVC2开发的,需要布署到windows 2003 server + IIS6.0的环境中。   服务器环境要求: Windows 2003 server + IIS6.0 1.安装.net framework 4.0, MVC(MVC 的版本要注意...

2013-10-18 14:08:39

阅读数 895

评论数 0

提示
确定要删除当前文章?
取消 删除