hadoop学习过程-2013.08.30.1--按照网页内容搜索出网页01--确定网页来源
使用larbin抓取网页已经可以了,可是抓取到的大量网页,其有意义的文字内容不一定是在网页中同一个位置出现的,比如:
有网页A、B、C、D,A中主要内容在一个div下,B中主要内容在一个文本框中,C中主要内容分散在table中,D中主要内容也在一个div中,但是A中div与D中div并不是html结构树中的同一个节点。
所以先不抓取真实网站网页,而是用现成的、结构统一的网页,即某省政策法规文件
原创
2013-08-30 09:50:31 ·
591 阅读 ·
0 评论