下载精校小说

WebDriver driver = SeleniumUtil.getNormalDriver();
			ExecutorService pool = Executors.newCachedThreadPool();
			pool = Executors.newFixedThreadPool(5);
			for(String type:"xuanhuan jingdian dushi lishi wuxiao".split(" ")) {
				try {
					for (int i = 1; i < 1000; i++) {
						String subfix="";
						if(i>1) {
							subfix="index_"+i+".html";
						}
						String page=SpiderUtil.getPageContent("https://www.downtxts.com/article/"+type+"/"+subfix);
						for(String a:HtmlUtil.find(page, "div[class=item-content]>h4>a[getPropertyValue=href]")) {
							try {
								a=SpiderUtil.getPageContent(a);
								for(String as:HtmlUtil.find(a, "a")) {
									if("下载地址".equals(HtmlUtil.getValue(as))){
										a=SpiderUtil.getPageContent(HtmlUtil.propertyValue(as, "href"));
										for(String a2:HtmlUtil.find(a, "a")) {
											if("点击进入网盘下载一".equals(HtmlUtil.getValue(a2))) {
												a2=HtmlUtil.propertyValue(a2, "href");
												if(a2.contains("?http")) a2=a2.substring(a2.indexOf("?http")+1);
												driver.get(a2);
												SeleniumUtil.waitAppear(driver, 5, By.linkText("普通下载"));
	//										Thread.sleep(1000);
												a2=driver.getPageSource();
												String title=HtmlUtil.find(a2, "title[value]").get(0).replace("txt免费下载 - 118网盘", "");
												int end=a2.indexOf(">普通下载</span>");
												a2=a2.substring(a2.lastIndexOf("<a",end),end);
												a2=a2.substring(0,a2.indexOf(">")+1);
												String url=HtmlUtil.propertyValue(a2, "href");
												if(!FileUtil.isFileExists("f:/novel/"+title+".txt")) {
													pool.execute(new Runnable() {
														public void run() {
															try {
																SpiderUtil.download(url, "f:/novel/"+title+".txt");
															} catch (IOException e) {
																e.printStackTrace();
															}
														}
													});
												}
											}
										}
									}
								}
							}catch(Exception e) {
								e.printStackTrace();
							}
						}
					}
				}catch(Exception ee) {
					ee.printStackTrace();
				}
			}
			pool.shutdown();
			while(true){
			   if(pool.isTerminated()){  
			        break;  
			   }  
			   Thread.sleep(1000);    
			}

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ak01_10

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值