提取一个网页内的所有链接

 看上去可能没有什么用，但对于做小东西来说还是有点用处的。比如把这些链接放到Heritrix里面进行统一抓取。

在这里，我只是简单记录一下，没什么实质的内容：

代码如下：

1. public void extract()
2.     {
3.         BufferedWriter bw=null;
4.         String title="hangdian";
5.         
6.         NodeFilter  body_filter=new AndFilter(new TagNameFilter("A"),new NotFilter(new HasAttributeFilter("href","../")));
7.         NodeFilter  option_filter=new AndFilter(new TagNameFilter("option"),new NotFilter(new HasAttributeFilter("value","../")));
8.         //[a-zA-z]+://[^/s]*
9.         //^((https?|ftp|news):)?([a-z]([a-z0-9/-]*[/.。])+([a-z]{2}|
10.         
11.         try
12.         {
13.             bw= new BufferedWriter(new FileWriter(new File(this 
14.                     .getOutputPath() 
15.                     + title + ".txt"))); 
16.                NodeList title_nodes = this.getParser().parse(body_filter); 
17.                 for(int i=0;i<title_nodes.size();i++) 
18.                 { 
19.                     LinkTag node=(LinkTag)title_nodes.elementAt(i);      
20.                      
21.                     String url=node.getAttribute("href"); 
22.                     bw.write(url+NEWLINE);
23.                 }
24.         }
25.         catch(Exception e)
26.         {
27.             e.printStackTrace();
28.         }
29.         this.getParser().reset();
30.         try
31.         {
32.              NodeList title_nodes = this.getParser().parse(option_filter); 
33.                 for(int i=0;i<title_nodes.size();i++) 
34.                 { 
35.                     OptionTag node=(OptionTag)title_nodes.elementAt(i);      
36.                      
37.                     String url=node.getAttribute("value"); 
38.                     bw.write(url+NEWLINE);
39.                 }
40.         }
41.         catch(Exception e)
42.         {
43.             e.printStackTrace();
44.         }
45.         
46.         try
47.         {
48.             if(bw!=null)
49.                 bw.close();
50.         }catch(IOException e)
51.         {
52.             e.printStackTrace();
53.         }
54.     }

这是对我校主页的分析。

加入main（）函数：

1.     public static void main(String[]args) throws Exception
2.     {
3.         Extractor extractor=new ExtractHangdian();
4.         extractor.setOutputPath("目标文件的保存位置");
5.         File file=new File("我校主页的存放位置");
6.         traverse(extractor,file);
7.     }