多线程java爬虫爬取小说网站附免费源码

 此项目需要导入jsoup jar包

 首先确定爬取的网址，获取其中章节的信息，包括单章的网址即URL，章节名称title。

     通过select查找该页面下类名为listmain下dl标签下dd标签下的a标签。

public class TestOne {
    public static void main(String[] args) throws IOException {
		String url="https://www.bq90.cc/book/3331/";   //爬取目标网址
		Connection conntitle = Jsoup.connect(url);
		Document tit=conntitle.get();
		Elements eles=tit.select(".listmain dl dd a"); //选择ID为listmain中的<a>标签
}

        第二步就要作一个爬取小说储存到文件里的方法了，方法如下。

        由于访问有时候会超时所以我设置了一个递归，超过十次递归将不会再触发，如果10次都爬不下来那我相信会是网站的问题。

    public static void gettext(String url,String title,int i) {
		Connection conn = Jsoup.connect(url);
		File file=new File("D:\\spiderdemo");   //存储路径
		try {
			Document doc=conn.timeout(20000).get(); //设置的timeout 但是还是有访问超出时间的章节（待完善）；
			doc.select("br").append("n");
			Elements eles=doc.select(".content>#chaptercontent ");
			
			if(!file.exists()) {
				file.mkdirs();
			}
			title = doc.select(".title").text(); 

			File f=new File(file,title+".txt");
			//构建输出流
			Writer writer=new FileWriter(f);
			BufferedWriter bw=new BufferedWriter(writer);
			for(Element ele:eles) {
				String str=ele.text();
				str = str.replace("n n","\n");
				//过滤无用文字
				str = str.replace("请收藏本站：https://www.bq90.cc。笔趣阁手机版：https://m.bq90.cc ","");  
				str = str.replace("『点此报错』『加入书签』","");
				bw.write(str);
				bw.newLine();		
			}
			bw.close();
			writer.close();
			System.out.println(title+"爬取完成");
		} catch (IOException e) {
			i++;
			if(i<10) {
				gettext(url,title,i);  //如果没有成功则重新爬取
			}
			else {
				try {
					File readme_f=new File(file,"readme.txt"); //未爬到的小说章节储存路径
					//构建输出流
					FileWriter readme_w=new FileWriter(readme_f,true);
					readme_w.write("没爬到"+title+"\n");
					readme_w.close();
				}catch (Exception erorr) {
					// TODO: handle exception
					System.out.println("没爬到"+title);
				}
			}
		}
    }

        接下来就开始多线程的创建，我根据总章节数对小于1000的数求余来确定线程个数，1000可调但不建议太高如果要再加一层爬取整个网站所有小说的话建议调小，不然跟攻击没有区别。 

class sdi implements Runnable{
	private int min;
	private int max;
	private Elements eles;
	public sdi(int min,int max,Elements eles) {  //构造函数传参
		super();
		this.min=min;
		this.max=max;
		this.eles=eles;
	}
	public void run() { 
		for(;min<max;min++) {
			String href=eles.get(min).attr("href");
			if(!href.contains("book")) {
				continue;
			}
			if(href.length()<10) {
				continue;
			}
			String title=eles.get(min).text();
			href="https://www.bq90.cc"+href; //href为小说章节的具体路径，根据实际情况变化。
			gettext(href,title,0);
		}
	}
}

       主函数通过循环创建线程

public static void main(String[] args) throws IOException {
		String url="https://www.bq90.cc/book/3331/";   //爬取目标网址
		Connection conntitle = Jsoup.connect(url);
		Document tit=conntitle.get();
		Elements eles=tit.select(".listmain dl dd a"); //选择ID为listmain中的<a>标签
		int lenth=eles.size();                        //小说章数
		int avg=getavg(lenth);
		System.out.println("avg="+avg);
		int min=0,max=0;
		Thread[] t1=new Thread[avg];
		for (int i = 0; i < avg; i++) {
			max+=lenth/avg;
			sdi tt1 = new sdi(min,max,eles);
			t1[i] = new Thread(tt1);
			min=max;
		}
		for (int i = 0; i < avg; i++) {
			t1[i].start();
		}

	}
    public static int getavg(int size) { //获得能被整除的平均章数从第i开始递减求余（可改）
    	int i=1000; //别设太多，这个数越大线程越多。
    	while(i>=1) {
    		if(size%i==0) {
    			break;
    		}
    		i--;
    	}
    	return i;
    }