在循环爬取得基础上进行多线程爬虫,本程序中使用的三个线程,线程为实现runnable接口,并使用对象锁防止并发共同去访问同一个对象。让三个线程同时爬去同一个url并且得到的新的url不重复。
import java.io.*;
import java.net.*;
public class WebCrawler{
public static void main(String[] args){
runcrawler t1=new runcrawler();
runcrawler t2=new runcrawler();
runcrawler t3=new runcrawler();
t1.start();
t2.start();
t3.start();
}
}
class runcrawler extends Thread{
String s1="<a href=\"http://";
String url="http://www.sina.com";
static int i=0;
static String [] urlconntion=new String[100];
public void <