java爬虫 爬取动漫之家10000部漫画信息

最新推荐文章于 2023-09-15 14:09:56 发布
最新推荐文章于 2023-09-15 14:09:56 发布
阅读量2.9k 收藏 9
点赞数 1
分类专栏： java 文章标签： 动漫之家 爬虫 java spider 代码
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LittleWhiteLv/article/details/94617195
版权

 

Java大作业，爬取信息并写入Excel。

项目下载：https://pan.baidu.com/s/1Z1rMWSyaAeGvZCm5CMgexQ（请用eclipse 2018打开，我的jdk版本是1.8）

附我爬取的10000部漫画信息下载地址：https://pan.baidu.com/s/12wCasdunyxGfdRNw84nbHw​​​​​​​

 

数据图例：

主类代码：（如果有import报错，那么请下载上面的链接把里面lib文件夹下的.jar文件放进自己的项目，并右键jar包选择build path即可，若仍搞不懂请百度）

import java.io.File;
import jxl.Workbook;
import jxl.write.Label;
import jxl.write.WritableSheet;
import jxl.write.WritableWorkbook;
import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.Spider;
import us.codecraft.webmagic.processor.PageProcessor;
import us.codecraft.webmagic.downloader.selenium.SeleniumDownloader;
import us.codecraft.webmagic.scheduler.RedisScheduler;
import us.codecraft.webmagic.pipeline.FilePipeline;
import org.openqa.selenium.firefox.*;

public class Main implements PageProcessor {
	private Site site = Site.me().
			setRetryTimes(3).	//失败重试次数
			setSleepTime(20);	//爬取时间间隔
	
	private int Num=0;
	private String Title;
	private String Author[]=new String[2];
	private String Country;
	private String State;
	private String Popularity;
	private String Tag[]=new String[3];
	private String Type;
	private String Update;
	private String BookNum;
	private String Talk;
	private String Details;
	
	private static WritableWorkbook book;
	private static WritableSheet Sheet1;
	private static WritableSheet Sheet2;
	
    public void process(Page page) {
    	int StaticNum = 0;
    	page.addTargetRequests(
    			page.
    			getHtml().
    			links().
    			regex("http://manhua.dmzj.com/[a-z 0-9 -]+/").	//筛选网页规则
    			all()
    	);
    	Title=page.getHtml().
    			xpath("div[@class='odd_anim_title_m']//span//a//h1/text()").
    			toString();
    	if(Title!=null) {
    		StaticNum=++Num;
    	}
    	Author[0]=page.getHtml().
    			xpath("div[@class='anim-main_list']//table//tbody//tr[3]//td//a[1]/text()").
    			toString();
    	Author[1]=page.getHtml().
    			xpath("div[@class='anim-main_list']//table//tbody//tr[3]//td//a[2]/text()").
    			toString();
    	Country=page.getHtml().
    			xpath("div[@class='anim-main_list']//table//tbody//tr[4]//td//a/text()").
    			toString();
    	State=page.getHtml().
    			xpath("div[@class='anim-main_list']//table//tbody//tr[5]//td//a/text()").
    			toString();
    	/*Popularity=page.getHtml().
    			xpath("div[@class='anim-main_list']//table//tbody//tr[6]//td[@id='hot_hits']/text()").
    			toString();*/
    	/*
    	page.putField("img", page.getHtml().
    			xpath("div[@class='anim-main_list']//table//tbody//tr[6]//td[@id='hot_hits']").
    			toString());
    	Popularity=page.getResultItems().get("img");
    	System.out.println("人气：" + Popularity);
    	*/
    	Tag[0]=page.getHtml().
    			xpath("div[@class='anim-main_list']//table//tbody//tr[7]//td//a[1]/text()").
    			toString();
    	Tag[1]=page.getHtml().
    			xpath("div[@class='anim-main_list']//table//tbody//tr[7]//td//a[2]/text()").
    			toString();
    	Tag[2]=page.getHtml().
    			xpath("div[@class='anim-main_list']//table//tbody//tr[7]//td//a[3]/text()").
    			toString();
    	Type=page.getHtml().
    			xpath("div[@class='anim-main_list']//table//tbody//tr[8]//td//a/text()").
    			toString();
    	Update=page.getHtml().
    			xpath("div[@class='anim-main_list']//table//tbody//tr[9]//td//a/text()").
    			toString();
    	/*BookNum=page.getHtml().
    			xpath("span[@id='subscribe_num']/text()").
    			toString();
    	Talk=page.getHtml().
    			xpath("span[@class='comment_num']/text()").
    			toString();
    	Details=page.getHtml().
    			xpath("div[@class='odd_anim_title_m']//a/text()").
    			toString();*/
    	if(Title!=null) {	//读取到有效数据
    		try {
    			Label label=new Label(0,StaticNum,Title);	//标题
    			Sheet1.addCell(label);
    			label=new Label(1,StaticNum,Author[0]);	//作者
    			Sheet1.addCell(label);
    			if(Author[1]!=null) {
    				label=new Label(2,StaticNum,Author[1]);	//第二作者
        			Sheet1.addCell(label);
    			}
    			label=new Label(3,StaticNum,Country);	//地区
    			Sheet1.addCell(label);
    			label=new Label(4,StaticNum,State);	//状态
    			Sheet1.addCell(label);
    			label=new Label(5,StaticNum,Tag[0]);	//标签1
    			Sheet1.addCell(label);
    			if(Tag[1]!=null) {
    				label=new Label(6,StaticNum,Tag[1]);	//标签2
        			Sheet1.addCell(label);
        			if(Tag[2]!=null) {
        				label=new Label(7,StaticNum,Tag[2]);	//标签3
            			Sheet1.addCell(label);
        			}
    			}
    			label=new Label(8,StaticNum,Type);	//类型
    			Sheet1.addCell(label);
    			label=new Label(9,StaticNum,Update);	//更新
    			Sheet1.addCell(label);
    			book.write();	//写入文件
    		}
    		catch(Exception e) {
    			System.out.println(e); 
    		}
    		/*System.out.println(
    		"编号：" + Num + "\n" +
    		"作品：" + Title + "\n" +
    		"作者：" + Author[0] + "\n" +
    		"地区：" + Country + "\n" +
    		"状态：" + State + "\n" +
    		//"人气：" + Popularity + "\n" +
    		"标签：" + Tag[0] + Tag[1] + Tag[2] + "\n" +
    		"类型：" + Type + "\n" +
    		"更新：" + Update + "\n" +
    		//"订阅：" + BookNum + "\n" +
    		//"评论：" + Talk + "\n" +
    		//"详情：" + Details + "\n" 
    		);*/
    		if(StaticNum==22000) {	//抓取数据量
    			try {
    				book.write();	//写入文件
					book.close();	//关闭文件
					System.exit(0);	//退出爬虫
    			}
    			catch(Exception e) {
        			System.out.println(e); 
        		}
    		}
    		System.out.println(StaticNum);
    	}
    }
    
    public Site getSite() {
        return site;
    }
    
	public static void main(String[] args) {
    	try {	//创建Excel
			book= Workbook.createWorkbook(new File("File.xls"));
			Sheet1=book.createSheet("表1",0);	//创建两个表页
			Sheet2=book.createSheet("表2",1);
			System.out.println("创建Excel成功\n");
			
			Label label=new Label(0,0,"漫画名");	//填表头
			Sheet1.addCell(label);
			label=new Label(1,0,"作者1");	//填表头
			Sheet1.addCell(label);
			label=new Label(2,0,"作者2");	//填表头
			Sheet1.addCell(label);
			label=new Label(3,0,"地区");	//填表头
			Sheet1.addCell(label);
			label=new Label(4,0,"状态");	//填表头
			Sheet1.addCell(label);
			label=new Label(5,0,"标签1");	//填表头
			Sheet1.addCell(label);
			label=new Label(6,0,"标签2");	//填表头
			Sheet1.addCell(label);
			label=new Label(7,0,"标签3");	//填表头
			Sheet1.addCell(label);
			label=new Label(8,0,"类型");	//填表头
			Sheet1.addCell(label);
			label=new Label(9,0,"连载进度");	//填表头
			Sheet1.addCell(label);
		}
		catch(Exception e) {
			System.out.println(e);
		}
    	
    	Spider.
        create(new Main()).
        addUrl("http://manhua.dmzj.com").	//起始网页
        thread(1).	//线程数
        run();
    }
}

Excel类：

import jxl.write.Label;
import jxl.write.WriteException;
import jxl.write.biff.RowsExceededException;
public class Excel {
	private int Raw;
	public Excel(int Raw) {
		this.Raw=Raw;
	}
	
	public Label Add(int a,String c) throws RowsExceededException, WriteException {
		Label label=new Label(a,this.Raw,c);
		return label;
	}
}

爬动漫之家手机版网页：

import java.io.File;
import jxl.Workbook;
import jxl.write.Label;
import jxl.write.WritableSheet;
import jxl.write.WritableWorkbook;
import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.Spider;
import us.codecraft.webmagic.processor.PageProcessor;

public class AppMain implements PageProcessor {
	private Site site = Site.me().
			setRetryTimes(5).	//失败重试次数
			setSleepTime(50);	//爬取时间间隔
	private int CodeNum=2;
	private int SuccessNum=0;
	
	private static WritableWorkbook book;
	private static WritableSheet Sheet1;
	private static WritableSheet Sheet2;
    public void process(Page page) {
    	String Title;
    	String Author[]=new String[2];
    	String Tag[]=new String[3];
    	String Type;
    	String Country;
    	String State;
    	String UpdateTime;
    	String Details;
    	for(int i=0;i<5;i++)
    		page.addTargetRequest("https://m.dmzj.com/info/" + (++CodeNum) + ".html");
    	//CodeNum+=;
    	Title=page.getHtml().
    			xpath("div[@class='BarTit']/text()").
    			toString();
    	if(Title!=null) {
    		UpdateTime=page.getHtml().
    				xpath("span[@class='date']/text()").
    				toString();
    		Author[0]=page.getHtml().
        			xpath("div[@class='sub_r']//p[1]//a[1]/text()").
        			toString();
        	Author[1]=page.getHtml().
        			xpath("div[@class='sub_r']//p[1]//a[2]/text()").
        			toString();
        	Tag[0]=page.getHtml().
        			xpath("div[@class='sub_r']//p[2]//a[1]/text()").
        			toString();
        	Tag[1]=page.getHtml().
        			xpath("div[@class='sub_r']//p[2]//a[2]/text()").
        			toString();
        	Tag[2]=page.getHtml().
        			xpath("div[@class='sub_r']//p[2]//a[3]/text()").
        			toString();
        	Type=page.getHtml().
        			xpath("div[@class='sub_r']//p[3]//a[1]/text()").
        			toString();
        	Country=page.getHtml().
        			xpath("div[@class='sub_r']//p[3]//a[2]/text()").
        			toString();
        	State=page.getHtml().
        			xpath("div[@class='sub_r']//p[3]//a[3]/text()").
        			toString();
        	Details=page.getHtml().
        			xpath("p[@class='txtDesc autoHeight']/text()").
        			toString();
    		try {
    			if(CodeNum<49020) {
    				SuccessNum++;
    				Excel a=new Excel(SuccessNum);
    				Sheet1.addCell(a.Add(0, Title));
    				Sheet1.addCell(a.Add(1, Author[0]));
    				if(Author[1]!=null) Sheet1.addCell(a.Add(2, Author[1]));
    				Sheet1.addCell(a.Add(3, Tag[0]));
    				if(Tag[1]!=null) {
    					Sheet1.addCell(a.Add(4, Tag[1]));
    					if(Tag[2]!=null) Sheet1.addCell(a.Add(5, Tag[2]));
    				}
    				Sheet1.addCell(a.Add(6, Type));
    				Sheet1.addCell(a.Add(7, Country));
    				Sheet1.addCell(a.Add(8, State));
    				Sheet1.addCell(a.Add(9, UpdateTime));
    				Sheet1.addCell(a.Add(10, Details));
    			}
    			if(CodeNum>=49020) {	//抓取数据量
        			try {
        				book.write();	//写入文件
    					book.close();	//关闭文件
    					System.exit(0);	//退出爬虫
        			}
        			catch(Exception e) {
            			System.out.println(e); 
            		}
        		}
    			System.out.println(SuccessNum);
        		//System.out.println("漫画名：" + Title);
        		/*System.out.println("作者：" + Author[0] + " " + Author[1]);
        		System.out.println("标签：" + Tag[0] + " " + Tag[1] + " " + Tag[2]);
        		System.out.println("类型：" + Type);
        		System.out.println("地区：" + Country);
        		System.out.println("状态：" + State);
        		System.out.println("最近更新时间：" + UpdateTime);
        		System.out.println(Details);*/
    		}
    		catch(Exception e) {
    			System.out.println(e);
    		}
        }
        else System.out.println(SuccessNum);
    }
    
    public Site getSite() {
        return site;
    }

	public static void main(String[] args) {
		try {	//创建Excel
			book= Workbook.createWorkbook(new File("File.xls"));
			Sheet1=book.createSheet("表1",0);	//创建两个表页
			Sheet2=book.createSheet("表2",1);
			System.out.println("创建Excel成功\n");
			Label label=new Label(0,0,"漫画名");	//填表头
			Sheet1.addCell(label);
			label=new Label(1,0,"作者1");	//填表头
			Sheet1.addCell(label);
			label=new Label(2,0,"作者2");	//填表头
			Sheet1.addCell(label);
			label=new Label(3,0,"标签1");	//填表头
			Sheet1.addCell(label);
			label=new Label(4,0,"标签2");	//填表头
			Sheet1.addCell(label);
			label=new Label(5,0,"标签3");	//填表头
			Sheet1.addCell(label);
			label=new Label(6,0,"类型");	//填表头
			Sheet1.addCell(label);
			label=new Label(7,0,"地区");	//填表头
			Sheet1.addCell(label);
			label=new Label(8,0,"状态");	//填表头
			Sheet1.addCell(label);
			label=new Label(9,0,"最近更新时间");	//填表头
			Sheet1.addCell(label);
			label=new Label(10,0,"详情");	//填表头
			Sheet1.addCell(label);
		}
		catch(Exception e) {
			System.out.println(e);
		}
    	Spider.create(new AppMain()).
    	addUrl("https://m.dmzj.com").thread(1).run();
    }
}

 

朤白
关注
专栏目录
Python爬虫之爬取动漫之家
weixin_44387515的博客
07-05 1786
Python爬虫之爬取动漫之家 小白上手爬虫第一天，简单爬取网站动漫之家。 小小目标： 1.爬取5页的动漫； 2.以list返回其动漫地址和动漫名字； 简单粗暴，直接附上源码： import requests import re # 获取页面 def getHTMLText(url): try: kv = { 'cookie': 'thw=cn; v=0; t=ab66dffdedcb481f77fd563809639584; cookie2=1f14e4
网络通信编程大作业--深度研究爬虫技术
weixin_48302823的博客
01-05 6134
一：什么是网络爬虫技术？ 网络爬虫（Web crawler），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本，它们被广泛用于互联网搜索引擎或其他类似网站，可以自动采集所有其能够访问到的页面内容，以获取或更新这些网站的内容和检索方式。从功能上来讲，爬虫一般分为数据采集，处理，储存三个部分。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤
java爬虫 爬取动漫之家10000部漫画信息-附件资源
03-02
java爬虫 爬取动漫之家10000部漫画信息-附件资源
java爬虫抓取漫画，一二三部下载到本地
qq_43898141的博客
12-24 866
首先添加jsoup依赖 <!--解析html使用--> <dependency> <groupId>org.jsoup</groupId> <artifactId>jsoup</artifactId> <version>1.9.2</version> </dependency> 下面是
Java爬虫学习--爬取漫画
qq_40734247的博客
03-03 2653
我看大部分的爬虫入门教学都是爬取图片的，但是我测试了一下，那个网站现在加了一些反爬措施（如协议头部的 referer），并且很容易就会遇到429（太多请求）这个问题。可能是多线程速度太快，这也说明了控制爬取的合理速度的重要性。因为我一直有看漫画的习惯，所以就来测试一下爬取网站的漫画。（这个网站是提供试看功能，所以我就拿它来测试一下吧。） 网站地址（我喜欢的那部漫画地址）：https://www.m...
java jsoup 爬取漫画
qq_43898141的博客
05-30 1334
首先添加jsoup依赖 <dependency> <groupId>org.jsoup</groupId> <artifactId>jsoup</artifactId> <version>1.13.1</version> </dependency> 爬取的网站 废话不多说，直接上代码。 package co
java 如何爬腾讯漫画,python爬虫：如何爬虫腾讯动漫的漫画呢？分析+源代码
weixin_29081703的博客
03-14 622
python爬虫可以获取很多想要的资源，那么作为一个动漫的爱好者，除了看动画之外，追漫画才能算是真正的真爱粉。那么，如何使用python爬虫我们想要的漫画呢？python爬虫首先，我们要使用python爬虫的网站就是腾讯动漫网了，实现python爬虫的第一步，我们来分析下这个页面的结构。python爬虫我们在一个漫画图片上右键，选择审查元素(可以快速定位)，然后我们看到这一部部的漫画被组织在一个个...
分享67套基于Java开发的Java毕业设计实战项目(含源码+毕业论文)【新星计划】
web18224617243的博客
06-21 1439
【新星计划】分享67套基于Java开发的Java毕业设计实战项目(含源码+毕业论文)本文中的所有主题都来自互联网。如果您侵犯您的权利，请及时联系Blogger，博主将及时处理。战神快速排名小编分享的Java毕业设计文件里所使用的Java语言和系统使用不一定准确和全面，我只是粗略浏览，具体使用多用技术来建议参考。各种各样的Java毕业设计不一定是完美的，建议看到几个，选择其中一个感觉良好，用来做Java毕业设计。论文可以参考，但是不建议直接照搬，因为毕竟要查重。以下内容由战神快速排名小编网络整理发布。提示：以
【2024计算机专业毕设免费必过选题】计算机科学/软件工程/大数据等专业最新毕设题目总结、24级毕业生必看选题免费详细讲解、题目不同、难度不同、选好题目很关键。
2301_79766712的博客
09-15 3475
5、用户管理：管理员可以管理用户账号，包括添加、编辑、删除和禁用用户账号，确保用户信息的安全和正常运作。管理员模块负责人员管理、商品管理、采购管理、库存管理、订单管理和财务管理，以管理超市的用户、商品、采购、库存、订单和财务信息。功能：分析维度包括空气质量和相关疾病的患病人数、当地地区人数参与人数、男女性别分布、年龄分布、不同区域参与人数及他们的情况，病症词云、身体BMI指数分布、常见症状分布、病史数据等，还包括了对不同地区健康评分情况的地图展示以及近期灵武市居住环境变化等内容最终通过可视化大屏进行展现。
【JAVA 】看漫画学java
N_01040709的博客
07-12 843
java是一门面向对象编程语言，不仅吸收了C++语言的各种优点，还摒弃了C++里难以理解的多继承、指针等概念，因此Java语言具有功能强大和简单易用两个特征。​ 本书以漫画的形式介绍了Java语言的相关知识。全书共20章，书中首先介绍了Java语言的历史、特点、开发环境、运算符、数据类型、数组、字符串、判断语句、循环语句等基础知识，接着讨论了函数式编程、类与对象、异常、文件操作、集合、图形用户界面、网络通信、多线程等进阶内容，最后通过一个案例向大家介绍如何爬取图片。这个视频非常适合对Java感兴趣的
用Java写的海贼王漫画爬虫
07-14
用Java写的小爬虫，只能够爬一些没有反爬的网站，代码里面的漫画地址没有反爬
Python-由Python编写的全异步实现的动漫之家dmzj漫画批量下载器爬虫
08-12
这是一个使用Python3编写的动漫之家的漫画批量下载器。相比于我之前所写过的几个爬虫，这个爬虫也是我第一次尝试全异步实现的一个爬虫例子，使用了aiohttp和aiofile这两个异步实现库来做支撑，相对于单线程爬虫和多线程爬虫
Python开发-动漫之家漫画站电脑版原图爬虫
08-09
动漫之家漫画站电脑版原图爬虫
java动画java动画
05-25
java动画java动画java动画java动画java动画java动画java动画java动画java动画
Java 实现简单的动画
07-10
这是用java 编写的 java 动画，适合初学者使用。
python做动画的库_由Python编写的全异步实现的动漫之家(dmzj)漫画批量下载器（爬虫）...
weixin_35607383的博客
12-29 1095
DCDownloader 专注于漫画网站、图站等类似形式的内容站点的批量下载器框架。说明这个项目最开始是作者编写的一个仅支持某个漫画网站的批量下载器，后来有人提建议说有增加网站的需求，作者便重新梳理了一下思路重构了代码，使其作为一种框架形式存在。DCDownloader是目前一款异步实现的、支持自定义适配的，专注于漫画网站、图站等类似形式的内容站点的批量下载器。通过编写Parser来做到适配...
从头学习爬虫（三十一）实战篇----动漫之家漫画（Java实现）
qq_36783371的博客
05-04 4621
本文主要用Java selenium实现点击打开漫画 如果有selenium配置问题请前往从头学习爬虫（十）进阶篇----selenium回顾 未使用框架 import java.io.BufferedInputStream; import java.io.BufferedOutputStream; import java.io.File; import java.io.FileOutpu...
动漫之家《妖神记》爬虫（2021-01-09）
weixin_44118714的博客
01-09 747
动漫之家《妖神记》爬虫 目标：动漫之家《妖神记》爬虫，听课习作 目标网址：https://www.dmzj.com/info/yaoshenji.html 主要知识 ——自动判断、创建所需目录 ——切片知识 ——bs4解析库使用技巧 ——网址拼接技巧 ——初级防爬Referer ——爬取结果反向排序 ——图片文件保存 ——正则使用 ——html.script 程序中有详细步骤、解释 ```python ''' -*- coding: utf-8 -*- @Author : hshcompass @QQ
java 如何爬腾讯漫画,Node爬取腾讯漫画资源(HTTP方式)
weixin_33563262的博客
03-14 591
之前谈到用puppeteer无头浏览器来转去腾讯漫画资源(puppeteer爬取腾讯漫画资源)，这次给出不借助浏览器，分析获取漫画资源的方法。先上代码：module.exports = getInfo;const evalFunc = 'function Base(){_keyStr="ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123...
java爬虫爬取天猫商品信息数据
最新发布
11-24
在实现java爬虫爬取天猫商品信息数据时，需要注意一些问题。首先是反爬虫机制，天猫网站可能会采取一些方式来阻止爬虫程序的访问，比如设置验证码、限制频繁访问等。因此，需要编写程序来处理这些反爬虫措施，可以...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值