SpiderIntenalWorkload类的实现

 SpiderIntenalWorkload类：

本类完全是为IWorkStorable接口方法的具体实现。存储在计算机内存中。用了hashtable和vector来存储URL。

方法比较简单，具体代码如下：

1. package com.heaton.bot;
3. import java.util.Enumeration;
4. import java.util.Hashtable;
5. import java.util.Vector;
7. /**
8.  * This class is used to maintain（保存）an internal,
9.  * memory based workload store for a spider. This
10.  * workload store will be used by default（默认）, if no
11.  * other is specified.
12.  */
13. public class SpiderInternalWorkload implements IWorkloadStorable {
15.   /**
16.    * A list of complete workload items.
17.    */
18.   Hashtable complete = new Hashtable();
20.   /**
21.    * A list of waiting workload items.
22.    */
23.   Vector waiting = new Vector();
25.   /**
26.    * A list of running workload items.
27.    */
28.   Vector running = new Vector();
30.   /**
31.    * Call this method to request a URL
32.    * to process. This method will return
33.    * a WAITING URL and mark it as RUNNING.
34.    *
35.    * @return The URL that was assigned.
36.    */
37.   synchronized public String assignWorkload()
38.   {
39.     if ( waiting.size()<1 )
40.       return null;
42.     String w=(String)waiting.firstElement();
43.     if ( w!=null ) {
44.     
45.       /*
46.        * 从waiting列表中把请求得到的URL除去，
47.        * 加入到running列表中。
48.        */
49.       waiting.remove(w);
50.       running.addElement(w);
51.     }
52.     Log.log(Log.LOG_LEVEL_TRACE,"Spider workload assigned:" + w);
53.     return w;
54.   }
56.   /**
57.    * Add a new URL to the workload, and
58.    * assign it a status of WAITING.
59.    * 指定为waiting状态。
60.    * @param url The URL to be added.
61.    */
62.   synchronized public void addWorkload(String url)
63.   {
64.      /*
65.       * 首先判断如果url已有状态属性，则返回。
66.       */
67.     if ( getURLStatus(url) != IWorkloadStorable.UNKNOWN )
68.       return;
69.     waiting.addElement(url);
70.     Log.log(Log.LOG_LEVEL_TRACE,"Spider workload added:" + url);
71.   }
73.   /**
74.    * Called to mark this URL as either
75.    * COMPLETE or ERROR.
76.    *
77.    * @param url The URL to complete.
78.    * @param error true - assign this workload a status of ERROR.
79.    * false - assign this workload a status of COMPLETE.
80.    */
81.   synchronized public void completeWorkload(String url,boolean error)
82.   {        
83.     running.remove(url);
85.     if ( error ) {
86.       Log.log(Log.LOG_LEVEL_TRACE,"Spider workload ended in error:" + url);
87.       complete.put(url,"e");
88.     } else {
89.       Log.log(Log.LOG_LEVEL_TRACE,"Spider workload complete:" + url);
90.       complete.put(url,"c");
91.     }   
92.   }
94.   /**
95.    * Get the status of a URL.
96.    *
97.    * @param url Returns either RUNNING, ERROR
98.    * WAITING, or COMPLETE. If the URL
99.    * does not exist in the database,
100.    * the value of UNKNOWN is returned.
101.    * @return Returns either RUNNING,ERROR,
102.    * WAITING,COMPLETE or UNKNOWN.
103.    */
104.   synchronized public char getURLStatus(String url)
105.   {
106.     if ( complete.get(url)!=null )
107.       return COMPLETE;
109.     if ( waiting.size()>0 ) {
110.       for ( Enumeration e = waiting.elements() ; e.hasMoreElements() ; ) {
111.         String w = (String)e.nextElement();
112.         if ( w.equals(url) )
113.           return WAITING;
114.       }
115.     }
117.     if ( running.size()>0 ) {
118.       for ( Enumeration e = running.elements() ; e.hasMoreElements() ; ) {
119.         String w = (String)e.nextElement();
120.         if ( w.equals(url) )
121.           return RUNNING;
122.       }
123.     }
125.     return UNKNOWN;
126.   }
128.   /**
129.    * Clear the contents of the workload store.
130.    */
131.   synchronized public void clear()
132.   {
133.     waiting.clear();
134.     complete.clear();
135.     running.clear();
136.   }
137. }

没什么陌生的类，还是比较好懂的。