主要难点:
1.并发线程的控制 采用了JDK5的UTIL包里的concurrent子包
2.去重
3.序列化
运行方法:java -Xms128M -Xmx512M -jar JavaCrawler.jar http://foxhq.com/ C:/a.log 0 D:/pic D:/url.tmp D:/img.tmp
SimpleBloomFilter.java
UtilSeriz.java
SearchCrawler.java
主要难点:
1.并发线程的控制 采用了JDK5的UTIL包里的concurrent子包
2.去重
3.序列化
运行方法:java -Xms128M -Xmx512M -jar JavaCrawler.jar http://foxhq.com/ C:/a.log 0 D:/pic D:/url.tmp D:/img.tmp
SimpleBloomFilter.java
UtilSeriz.java
SearchCrawler.java