java爬虫下载付费html网页模板

最新推荐文章于 2024-07-31 09:04:01 发布
最新推荐文章于 2024-07-31 09:04:01 发布
阅读量4.5k 收藏 17
点赞数 2
分类专栏： # Java爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40693171/article/details/80846449
版权

前言

前一段时间我们有一个网页的projiect小项目，要求学习bootstarp。然而自己写的模板和别人写好的东西，无论从美观和手机运行的兼容性上差距都很巨大。中途我们放弃自己写的东西，开始偷别人的模板。有些甚至不会偷的同学甚至还付费下载，都什么年代了，程序员还要花钱买模板。那次结束后，突发奇想能不能写个程序，让他自动下载模板。经过不断努力和解决bug，最终取得了成功。

思路

大致思路为：输入模板的一个页面为url，通过这个链接遍历所有与之有关的链接放到hashset中（采用队列的宽度优先遍历bfs）。这个相关用字符判断链接前面的主要域名地址。（链出去的链接不处理，防止无限扩大）。同时，还要将各种url分类放到不同的set中。

html页面分析：抓取html链接。还要按行读取html文本分析其中可能隐藏的css文件（可能有背景图片）。获取js链接，获取image地址，css地址，（注意一定要储存绝对地址而不是相对地址）。还有的涉及到上层目录。需要处理。

css页面：按行分析。因为css中可能储存背景图片以及其他logo。
js：直接下载保存。
html：下载保存
image：下载保存

注意点：

  1. 所有下载链接或者其他活动都要在try catch进行，在catch中跳过这个步骤，执行相应步骤。
  2. 下载目录在download自行更改（默认F：//download）
  3. 添加jsoup的jar包
  4. 有些图片藏在js文件中和css文件中，所以需要去判断js文件和css文件，我这个只分析了css没分析css。
  5. 由于精力和时间问题，项目并没有晚上，由于笔者此时正则能力不足，大部分采用字符串分割查找或者contains查找，难免有疏漏
  6. 目前代码测试只针对17素材之家部分模板测试有效。其他站点未进行测试
  7. 只是小白，代码亢长低水平，大佬勿喷。
    附上代码如下：

代码

  • 启动主类getmoban
import java.io.IOException;
import java.util.Iterator;
import java.util.Scanner;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;


public class getmoban {

	public static void main(String[] args) throws IOException
	{
		ExecutorService ex=Executors.newFixedThreadPool(6);
		Scanner sc=new Scanner(System.in);
		System.out.println("请输入网址（别太大否则下载不完）");
		String url=sc.nextLine();
		geturl g=new geturl(url);//
		csssearch cssimage=new csssearch();
		System.out.println(g.file);
		g.judel();		
		Iterator it=g.htmlurlset.iterator();		
		while(it.hasNext())
		{
			String name=it.next();
			try {
				download download=new download(name);
				
			 ex.execute(download);	
			}
			catch(Exception e){}
			//System.out.println("地址为" name);
		}
		Iterator it2=g.jsset.iterator();
		while(it2.hasNext())
		{
			String name=it2.next();
			try {
				download download=new download(name);
			 ex.execute(download);	
			}
				catch(Exception e){}
			//System.out.println("js地址为" name);
		}
		Iterator it3=g.cssset.iterator();
		while(it3.hasNext())//css需要过滤其中是否有背景图片
		{
			String name=it3.next();
			try {
				download download=new download(name);
				ex.execute(download);
				cssimage.searchimage(name);
			}
				catch(Exception e){}
			//System.out.println("css地址为" name);
		}
		Iterator it4=g.imgset.iterator();
		while(it4.hasNext())
		{
			String name=it4.next();
			try {
				download download=new download(name);
			 ex.execute(download);	
			}
				catch(Exception e){}
			//System.out.println("image地址为" name);
		}
		ex.shutdown();
		//judel();
	}
}
  • 分析链接geturl
import java.io.IOException;
import java.util.ArrayDeque;
import java.util.HashSet;
import java.util.Iterator;
import java.util.Queue;
import java.util.Set;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

public class geturl {
	
	public static String url="http://www.17sucai.com/preview/1/2014-11-28/jQuery用户注册表单验证代码/index.html";
	static String head="http";
	public geturl(String url)
	{
		this.url=url;
	}
	static String file=url;//文件路径
	{
		if(url.contains("http"))
		{
			head=file.split("//")[0];
			file=file.split("//")[1];
		}
		int last=file.lastIndexOf("/");
		file=file.substring(0, last);
	}
	static Set htmlurlset=new HashSet();//html
	static Set jsset=new HashSet();//js
	static Set imgset=new HashSet();//image
	static Set cssset=new HashSet();//css样式
	static Queue queue=new ArrayDeque();
	
//	public geturl() throws IOException 
//	{this.judel();}
	public static void judel() throws IOException 
	{
		queue.add(url);htmlurlset.add(url);
		while(!queue.isEmpty()&&queue!=null)//要防止链接无限扩大
		{
			String teamurl=queue.poll();//弹出头并且删除节点
			System.out.println(teamurl);
			
			if(!teamurl.endsWith(".com"))//有的网站短小，可能识别有错误	
			{
			if(file.indexOf("/")>0)
			{if(teamurl.contains(file.substring(0,file.indexOf("/"))))
			analyze(teamurl);}
			else
				analyze(teamurl);
			}
//			catch(Exception e) {System.out.println("cuo");}			
		}
		
	}
			
	public static void analyze(String URL)
	{
		try {
	 Document doc;
		doc = Jsoup.connect(URL).timeout(20000).header("user-agent", "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36").ignoreContentType(true).get();
		 Elements all=doc.select("[class]");//检查
		 Elements js=doc.getElementsByTag("script");
		 Elements html=doc.select("a[href]");
		 Elements img=doc.select("img");
		 Elements css=doc.select("link[href]");
		 for(Element e:all)
		 {
			 if(e.attr("style")!="")//找到藏在html的css的图片背景
			 { 
				 String tex=e.attr("style");
				 if(tex.contains("url"))
				 {
					 String urladress=file;
			 		String imgurl=tex.split("url")[1];
			 		imgurl=imgurl.split("\\(")[1].split("\\)")[0];//转义字符串
			 		if(imgurl.startsWith("'")||imgurl.startsWith("\""))//注意转义字符串
			 		{
			 			imgurl=imgurl.substring(1,imgurl.length()-1);
			 		} 
			 		while(imgurl.startsWith(".."))
			 		{
			 			imgurl=imgurl.substring(imgurl.indexOf("/") 1);		 			
			 			urladress=urladress.substring(0,urladress.lastIndexOf("/"));
			 		}
			 		urladress=head "//" urladress "/" imgurl;
			 		imgset.add(urladress);
				 }				 
			 }
		 }
		 for(Element htmlelement:html)
		 {		 		
			 String a=htmlelement.absUrl("href").split("#")[0];
			 
			 if(!a.equals(""))
			 {
				 if(!htmlurlset.contains(a)&&a.contains(file.substring(0,file.indexOf("/"))))//不存在继续遍历
				 { queue.add(a);htmlurlset.add(a); //System.out.println(a);
				 }			 
			 }				 
		 }
		 for(Element jselement:js)//判断JS
		 {
			 String team=jselement.absUrl("src");	
			 if(!team.equals(""))
			 jsset.add(team);//添加

		 }
		 for(Element csselement:css)
		 {
			 String team=csselement.absUrl("href");
			 if(!team.equals(""))//绝对路径
			 cssset.add(team);			
			 // System.out.println(e.attr("href"));
		 }
		 for(Element imageelement:img)
		 {
			 String team=imageelement.absUrl("src");
			 if(!team.equals(""))//绝对路径
			 imgset.add(team);
			 
			 //System.out.println(e.attr("href"));
		 }
		}
		catch(Exception e)
		{
			if(!queue.isEmpty()) {
			URL=queue.poll();
			 analyze(URL);}
		}
	} 				 
	}
  • 分析css（css可能隐藏图片）csssearch
import java.io.BufferedReader;
import java.io.File;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.net.URL;
import java.net.URLConnection;
import java.util.HashSet;
import java.util.Iterator;
import java.util.Set;

public class csssearch {

	public static void searchimage(String ur) throws IOException {
		if(ur.toLowerCase().contains("bootstarp")) {return;}//bootstarp.css过滤掉，肯定没图片
		Set imgset=new HashSet();
		//String ur="http://demo.cssmoban.com/cssthemes5/cpts_1019_bpi/css/style.css";
		String http="http";
		String fileurl=ur;
		if(fileurl.startsWith("http"))
		{
			http=fileurl.split("//")[0];//防止https协议
			fileurl=fileurl.split("//")[1];
		}
		fileurl=fileurl.substring(0,fileurl.lastIndexOf("/"));
		//System.out.println(fileurl);//测试
		URL url=new URL(ur);
		 URLConnection conn = url.openConnection();
	 conn.setConnectTimeout(1000);
	 conn.setReadTimeout(5000);
	 conn.connect();
	 InputStream in= conn.getInputStream();
	 InputStreamReader inp=new InputStreamReader(in);
	 BufferedReader buf=new BufferedReader(inp);
	 File file=new File("F:\\download\\" ur.split("//")[1]);
		 if(!file.exists())
		 {
		 	 file.getParentFile().mkdirs();
		 	 file.createNewFile();
		 }
		// BufferedOutputStream bufout=new BufferedOutputStream(new FileOutputStream(file));
		 String tex="";
		 while((tex=buf.readLine())!=null)
		 {
//		 	System.out.println(tex);
		 	if(tex.contains("url"))
		 	{
		 		String urladress=fileurl;
		 		String imgurl=tex.split("url")[1];
		 		imgurl=imgurl.split("\\(")[1].split("\\)")[0];//转义字符串
		 		if(imgurl.startsWith("'")||imgurl.startsWith("\""))//注意转义字符串
		 		{
		 			imgurl=imgurl.substring(1,imgurl.length()-1);
		 		}
		 		//System.out.println(imgurl);//测试
		 		while(imgurl.startsWith(".."))
		 		{
		 			imgurl=imgurl.substring(imgurl.indexOf("/") 1);		 			
		 			urladress=urladress.substring(0,urladress.lastIndexOf("/"));
		 		}
		 		urladress=http "//" urladress "/" imgurl;
		 		//System.out.println(urladress);
		 		//down.download(urladress);
		 		imgset.add(urladress);
		 	}
		 }
	//	 bufout.close();
		 buf.close();
		 inp.close();
		 in.close();
		 Iterator it=imgset.iterator();
		 while(it.hasNext())
		 {		 
		 	String team=it.next();
		 	
		 	try {
		 		download down=new download(team);
		 		Thread t1=new Thread(down);
		 		t1.start();System.out.println(team "下载成功");}
		 	catch(Exception e) {System.out.println("下载失败：" team);}
		 }
		 
	}
}
  • download(线程池下载)
import java.io.BufferedInputStream;
import java.io.BufferedOutputStream;
import java.io.File;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.net.URL;
import java.net.URLConnection;

public class download implements Runnable{
	
	public String ur;
	public download() {}
	public download(String ur)
	{
		this.ur=ur;
	}
	public static void download(String ur) throws IOException	
	{		 
		 //String ur="http://www.17sucai.com/preview/1266961/2018-06-22/wrj/index.html";
		String fileplace=ur;
		
		if(fileplace.contains("http"))
		{
			
			fileplace=fileplace.split("//")[1];
		}
	 URL url = new URL(ur);
	 URLConnection conn = url.openConnection();
	 conn.setConnectTimeout(4000);
	 conn.setReadTimeout(5000);
	 conn.connect();
	 InputStream in= conn.getInputStream();
	 
	 BufferedInputStream buf=new BufferedInputStream(in);
	 File file=new File("F:\\download\\" fileplace);
	 if(!file.exists())
	 {
	 	 file.getParentFile().mkdirs();
	 	 file.createNewFile();
	 }
	 //System.out.print(file.getAbsolutePath()); 
	 BufferedOutputStream bufout=new BufferedOutputStream(new FileOutputStream(file)); 
//	 int b=0;
//	 while((b=buf.read())!=-1)
//	 {
//	 	 bufout.write(b);
//	 	 //System.out.println(b "");
//	 }
	 byte b[]=new byte[1024];
	 int n=0;
	 while((n=buf.read(b))!=-1)
	 {
	 	bufout.write(b, 0, n);
	 }
	 in.close();
	 buf.close();			
			bufout.close();
			
			//fullFileName.close();
	 }
	@Override
	public void run() {
		try {
			download(ur);
			System.out.println(Thread.currentThread().getName() " 下载" ur "成功");
		} catch (IOException e) {
			// TODO 自动生成的 catch 块
			e.printStackTrace();
		}
		
	}
		
}

目标网站，以及运行效果
这里写图片描述
这里写图片描述
这里写图片描述

还有注意的要进入初始界面，把上面的X 点进去。
在这里插入图片描述

只能下载17素材大部分模板。如果以后时间充足，可能会维护下，下载更多模板！

项目github地址

如果对后端、爬虫、数据结构算法等感性趣欢迎关注我的个人公众号交流：bigsai

程序员bigsai
关注
专栏目录
项目实战-Linux部署-安装jdk以及shell脚本检查jdk
Java 技术专栏，从入门到精通，熟悉企业级开发
08-18 868
今天带来的内容是阿里云主机Linux centos系统里安装JDK。本章节内容比较难懂的地方就是【if type -p java;then】, 即在命令行输入java，如果存在就会返回该命令的完整路径，通过if组合使用，如果存在，就会执行then逻辑。以此类推，我们如果需要检查mvn、gradle、node、vue等命令是否存在，也可以使用if type这个组合。这里还有其他Java专栏，云原生、数据库、前端、运维等知识点分享。资料获取，更多粉丝福利，关注下方公众号获取。
Java开发的HTML/文本模板引擎：FreeMarker 2.3.30 下载
05-26
FreeMarker 是一款 模板引擎： 即一种基于模板和要改变的数据， 并用来生成输出文本(HTML网页，电子邮件，配置文件，源代码等)的通用工具。 它不是面向最终用户的，而是一个Java类库，是一款程序员可以嵌入他们所开发产品的组件。 模板编写为FreeMarker Template Language (FTL)。它是简单的，专用的语言，不是 像PHP那样成熟的编程语言。 那就意味着要准备数据在真实编程语言中来显示，比如数据库查询和业务运算， 之后模板显示已经准备好的数据。在模板中，你可以专注于如何展现数据， 而在模板之外可以专注于要展示什么数据。
Java爬虫通用模板它来了
weixin_44617651的博客
06-08 1081
Java 爬虫在实际应用中有很多场景，例如：数据挖掘和分析、搜索引擎、电商平台、数据更新、监控与预测等行业都需要爬虫借入，那么在实际爬虫中需要注意什么？又该怎么样快速实现爬虫？下面的文章值得看一看。
高效抓取网页模板：Go 1.19站点模板爬虫实战指南
最新发布
qq_36338933的博客
07-31 716
在进行站点模板爬虫时，需要遵守目标网站的服务条款和法律法规，避免侵犯版权或违反隐私政策。基于Go 1.19的站点模板爬虫的原理是通过发送HTTP请求获取网页内容，然后使用正则表达式或HTML解析库来提取其中的模板内容。：通过爬取站点的模板内容，可以获取所需的数据，例如新闻文章、产品信息等。：通过定期爬取站点的模板内容，可以监控网站的变化和更新。这对于及时发现网站的新内容、变动或异常情况非常有用。：通过分析站点的模板内容，可以了解网站的结构和布局，从而优化SEO策略，提高搜索引擎排名。
Java爬虫_资源网站爬取实战
weixin_33785108的博客
12-06 2433
对　http://bestcbooks.com/ 这个网站的书籍进行爬取 (爬取资源分享在结尾) 下面是通过一个URL获得其对应网页源码的方法 　　传入一个 url 返回其源码 (获得源码后，对源码进行解析，获得页面中其他的书籍地址和当前页面的书籍的百度网盘的链接,因为这个网站分享的书籍都是用网盘分享的)。 　　其实这里要讲的方法是按页...
Java爬虫样例
weixin_45592677的博客
11-27 643
package cn.demo; import org.openqa.selenium.By; import org.openqa.selenium.WebDriver; import org.openqa.selenium.WebElement; import org.openqa.selenium.chrome.ChromeDriver; import org.openqa.selenium.chrome.ChromeOptions; public class Temp { public s
Java爬虫。。。。。
05-21
Java爬虫有视频有源码 Java爬虫有视频有源码 Java爬虫有视频有源码 Java爬虫有视频有源码 Java爬虫有视频有源码
常用十大爬虫软件
tzddzdhz的博客
02-01 1735
集搜客GooSeeker始于2007年，是国内最早的网络爬虫工具之一，近年来，集搜客已把互联网内容结构化和语义化技术成功推广到金融、保险、电信运营、电信设备制造、电子制造、零售、电商、旅游、教育等行业。八爪鱼软件能满足多种业务场景，适合产品、运营、销售、数据分析、政府机关、电商从业者、学术研究等多种身份职业，可模板采集、智能采集、不间断云采集、自定义采集、多层级采集、全自动数据格式化等。软件现提供免费版和收费版，免费版有功能限制，收费版分旗舰版、旗舰+版、私有云版，价格每年约1999元至6.98万元不等。
python爬虫（一）——爬虫框架设计
一名数据分析师
02-10 2641
爬虫框架
豆丁网下载器
02-10
在技术实现层面，冰点下载器可能采用了多种编程语言，如Python、Java或C#，这些语言都有丰富的库支持网络请求和网页解析。例如，Python中的BeautifulSoup和Scrapy框架常用于网页抓取，而Java的Jsoup库则用于解析HTML...
Java学习（中）
Lzdnydppx的博客
08-11 835
正则表达式、加密与安全、多线程、Maven基础、网络编程、XML与JSON、JDBC编程、函数式编程、设计模式
简单网络爬虫Java代码(借鉴)
02-22
一个简单的网络爬虫代码，附带所需jar包，初学者可以借鉴
java程序套用网页模板
12-31
适合java程序的模板，写一个java程序套用已经好的模板
Java爬虫爬取网页数据
11-07
此工具可用于网页数据的爬取，代码中本身就有一个demo，自行参考使用
java爬虫完整代码
11-12
java爬虫完整代码，数据挖掘
Java爬虫小例子，爬取小网站，突破防盗链下载图片
02-02
通过Java爬虫，爬取网站内容（图片以及信息）并记录，在需要的时候可以下载，并且突破网站的防盗链
半小时实现Java手撸网络爬虫框架！！（附完整源码，建议收藏）
2401_83641533的博客
04-16 547
UrlDataHanding.java 此类主要是从未访问队列中获取url,下载页面，分析url，保存已访问url等操作，实现Runnable接口。System.out.println(VisitedUrlQueue.size() + “–已处理的页面数”);System.out.println(UrlQueue.size() + “–抓取到的连接数”);/* 如果是内部链接,则补充完整的链接地址,其他的格式忽略不处理,如：a href=“#” *//* 内外部链接最终转化为完整的链接格式 */
java实现一个简单爬虫功能
qq_43335643的博客
01-06 475
java实现一个简单爬虫功能 1.以百度热搜界面为例 2.F12分析界面可以看出新闻主题部分和每条新闻都被一个div包含 1. 创建一个maven项目导入所需要的jar包 <dependency> <groupId>org.jsoup</groupId> <artifactId>jsoup</artifactId> <version>1.10.2<
简单网页爬虫（java）
2301_81121202的博客
05-30 626
当然这只是最最最简单的一个实现，可以看到在程序中我们连捕捉到的异常都没有进行处理，只是将其打印了出来，还有性能等其他方面都还差很远，这只是一个简单的尝试和体验，理解大概的算法思路😀。差不多（也可以理解和树地层序遍历思想差不多），先访问一个网址涉及到的所有网址，并将他们添加到待访问地数组中，循环遍历所有网址（在这里我们设计让他访问了100个网址就停止访问）创建两个数组，一个数组存取已经访问过的网址，一个数组存取准备访问地网址，大概的思想和。1.爬虫入口（如何从用户输入的网址抵达其他网址）
Java实现网页爬虫实战教程
Java实现网页爬虫的示例讲解深入探讨了如何利用Java语言构建一个基本的网络爬虫，用于数据抓取和分析。本文档旨在帮助读者理解爬虫的工作原理，提供了一个从单网页数据抓取到多网页遍历、多线程优化的实践指南。 1....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

程序员bigsai

喝杯咖啡压压惊！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值