使用larbin抓取网页已经可以了,可是抓取到的大量网页,其有意义的文字内容不一定是在网页中同一个位置出现的,比如:
有网页A、B、C、D,A中主要内容在一个div下,B中主要内容在一个文本框中,C中主要内容分散在table中,D中主要内容也在一个div中,但是A中div与D中div并不是html结构树中的同一个节点。
所以先不抓取真实网站网页,而是用现成的、结构统一的网页,即某省政策法规文件集合。
下一步是使用IKAnalyzer将政策法规html文件中的中文内容切词。
使用larbin抓取网页已经可以了,可是抓取到的大量网页,其有意义的文字内容不一定是在网页中同一个位置出现的,比如:
有网页A、B、C、D,A中主要内容在一个div下,B中主要内容在一个文本框中,C中主要内容分散在table中,D中主要内容也在一个div中,但是A中div与D中div并不是html结构树中的同一个节点。
所以先不抓取真实网站网页,而是用现成的、结构统一的网页,即某省政策法规文件集合。
下一步是使用IKAnalyzer将政策法规html文件中的中文内容切词。