webmagic爬虫实战

已于 2023-10-13 14:09:25 修改
阅读量514 收藏 1
点赞数
分类专栏： JAVA 文章标签： 爬虫 java
于 2023-03-06 16:42:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34664202/article/details/129365453
版权

爬虫实战

maven引入jar包

	<dependency>
		<groupId>cn.hutool</groupId>
		<artifactId>hutool-all</artifactId>
		<version>5.8.6</version>
	</dependency>
	<dependency>
			<groupId>org.jsoup</groupId>
			<artifactId>jsoup</artifactId>
			<version>1.10.2</version>
		</dependency>
		<dependency>
			<groupId>us.codecraft</groupId>
			<artifactId>webmagic-core</artifactId>
			<version>0.8.0</version>
		</dependency>
		<dependency>
			<groupId>us.codecraft</groupId>
			<artifactId>webmagic-extension</artifactId>
			<version>0.8.0</version>
		</dependency>

示例


      // sf6
      List<String> hrefs =  ReUtil.findAll("<a.*?href=\"(.+)\".*?>(.*?)</a>", title, 1);
      String link = "https://www.streetfighter.com/6/zh-hans/character/aki";
       String contentLink = HttpUtil.get(link);
       Document document = Jsoup.parse(contentLink);
       Elements detail_detail_profile = document.getElementsByClass("detail_detail__profile__text__8JGgO");
       Elements detail_info_item = document.getElementsByClass("detail_info__item__h33Dg");
       Elements lis = document.select("a[href]");
       Console.log(detail_detail_profile );
       Console.log(detail_info_item.text());
       Console.log(lis);

schInfo

import org.apache.commons.lang3.StringUtils;
import org.jeecg.modules.sch.entity.SchoolInfoTxt;
import org.springframework.stereotype.Component;
import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.Request;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.Spider;
import us.codecraft.webmagic.pipeline.ConsolePipeline;
import us.codecraft.webmagic.selector.Html;
import us.codecraft.webmagic.utils.HttpConstant;

import java.util.ArrayList;
import java.util.List;
import java.util.Vector;
@Component
public class PageProcessor implements us.codecraft.webmagic.processor.PageProcessor {


    private List<SchoolInfoTxt> SchoolInfoTxtList;

    private  String linkUrl ;

    public String getLinkUrl() {
        return linkUrl;
    }

    public void setLinkUrl(String linkUrl) {
        this.linkUrl = linkUrl;
    }

    public List<SchoolInfoTxt> getSchoolInfoTxtList() {
        return SchoolInfoTxtList;
    }

    public void setSchoolInfoTxtList(List<SchoolInfoTxt> SchoolInfoTxtList) {
        this.SchoolInfoTxtList = SchoolInfoTxtList;
    }

    private Site site = Site.me().setDomain("www.creditsailing.com");

    @Override
    public void process(Page page) {
        List<String> links = page.getHtml().links().regex(getLinkUrl()).all();
        page.addTargetRequests(links);
       // System.out.println(page.getHtml());
   /*     //查询所有id=‘ne_article_source’的节点的文本值
        String source=page.getHtml().xpath("//*[@id='ne_article_source']/text()").get();

        //查询所有id=‘endText’下p节点的文本，查询的是列表
        List<String> contextList=page.getHtml().xpath("//*[@id='endText']/p/text()").all();

        //查询所有id='endText'下p包含的图片的src列表
        List<String> imgurlList=page.getHtml().xpath("//*[@id='endText']/p/img/@src").all();

        //查询所有id='endText'下p包含的图片对象列表
        List<String> imgurlList2=page.getHtml().xpath("//*[@id='endText']/p/img").all();*/
       // List<String> areaList = page.getHtml().xpath("//div[@class='co_left fl_l']/div[@class='sch-SBSchoolList-attr']/div[@class='sch-box']/div[@id='area']/a[@class='sch-cell']").all();

        List<String> schList = page.getHtml().xpath("//div[@class='co_left fl_l']/div[@class='sch-SBSchoolList-list']/ul/li[@class='sch-item']").all();


      /*  for (String item : areaList) {
            Html tmp = Html.create(item);
            //标题
            title = tmp.xpath("//a/text()").toString();
            System.out.println("area=="+title);
            //图片路径
            img = tmp.xpath("//a/@href").toString();
            System.out.println("img=="+img);
        }*/
        SchoolInfoTxtList = new ArrayList<>();
        for (String item : schList) {
            Html tmp = Html.create(item);
            //标题
            String name = tmp.xpath("//li[@class='sch-item']/div[@class='sch-item-text']/div[@class='sch-name']/p[@class='sch-name-detail']/a/text()").toString();
            String href = tmp.xpath("//li[@class='sch-item']/div[@class='sch-item-text']/div[@class='sch-name']/p[@class='sch-name-detail']/a/@href").toString();
      //      String area = tmp.xpath("//li[@class='sch-item']/div[@class='sch-item-text']/div[@class='sch-name']/p[@class='sch-name-detail']/i/text()").toString();

            page.putField("name",  name);
            SchoolInfoTxt SchoolInfoTxt = new SchoolInfoTxt();
            SchoolInfoTxt.setName(name);
            SchoolInfoTxt.setSchCode(StringUtils.substringBetween(href, "ool/", "."));


            SchoolInfoTxtPageProcessor SchoolInfoTxtPageProcessor = new SchoolInfoTxtPageProcessor();
            SchoolInfoTxtPageProcessor.setLinkUrl("http://www.creditsailing.com/"+href);
            SchoolInfoTxtPageProcessor.setSchoolInfoTxt(SchoolInfoTxt);

            Spider.create(SchoolInfoTxtPageProcessor).addUrl(SchoolInfoTxtPageProcessor.getLinkUrl())
                    .addPipeline(new ConsolePipeline()).run();

            SchoolInfoTxtList .add(SchoolInfoTxt);
        }
        /*page.putField("title", page.getHtml().xpath("//div[@class='BlogEntity']/div[@class='BlogTitle']/h1").toString());
        page.putField("content", page.getHtml().$("div.content").toString());
        page.putField("tags",page.getHtml().xpath("//div[@class='BlogTags']/a/text()").all());*/
    }

    @Override
    public Site getSite() {
        return site;

    }

    public static void main(String[] args) {
        PageProcessor pageProcessor = new PageProcessor();


        Request request = new Request(pageProcessor.getLinkUrl());
    //    request.setMethod(HttpConstant.Method.GET);
    //    request.addHeader("User-Agent","PostmanRuntime-ApipostRuntime/1.1.0");

        Spider.create(pageProcessor).addRequest(request)
                .addPipeline(new ConsolePipeline()).run();
        System.out.println(pageProcessor.getSchoolInfoTxtList());
    }

}

schInfoSub

import org.jeecg.common.util.HTMLUtils;
import org.jeecg.modules.sch.entity.SchoolInfoTxt;
import org.jeecg.modules.sch.service.ISchoolInfoTxtService;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Component;
import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.Spider;
import us.codecraft.webmagic.pipeline.ConsolePipeline;

import javax.annotation.Resource;
import java.util.List;

@Component
public class SchoolInfoTxtPageProcessor implements us.codecraft.webmagic.processor.PageProcessor {


    private Site site = Site.me().setDomain("www.creditsailing.com");

    private  String linkUrl ;


    public SchoolInfoTxt getSchoolInfoTxt() {
        return SchoolInfoTxt;
    }

    public void setSchoolInfoTxt(SchoolInfoTxt SchoolInfoTxt) {
        this.SchoolInfoTxt = SchoolInfoTxt;
    }

    private SchoolInfoTxt SchoolInfoTxt;


    public String getLinkUrl() {
        return linkUrl;
    }

    public void setLinkUrl(String linkUrl) {
        this.linkUrl = linkUrl;
    }



    @Override
    public void process(Page page) {
        List<String> links = page.getHtml().links().regex(getLinkUrl()).all();
        page.addTargetRequests(links);
       // System.out.println(page.getHtml());
   /*     //查询所有id=‘ne_article_source’的节点的文本值
        String source=page.getHtml().xpath("//*[@id='ne_article_source']/text()").get();

        //查询所有id=‘endText’下p节点的文本，查询的是列表
        List<String> contextList=page.getHtml().xpath("//*[@id='endText']/p/text()").all();

        //查询所有id='endText'下p包含的图片的src列表
        List<String> imgurlList=page.getHtml().xpath("//*[@id='endText']/p/img/@src").all();

        //查询所有id='endText'下p包含的图片对象列表
        List<String> imgurlList2=page.getHtml().xpath("//*[@id='endText']/p/img").all();*/
       // List<String> areaList = page.getHtml().xpath("//div[@class='co_left fl_l']/div[@class='sch-SBSchoolList-attr']/div[@class='sch-box']/div[@id='area']/a[@class='sch-cell']").all();

        String details = page.getHtml().xpath("//div[@class='co_left fl_l']/div[@class='sch-jieshao']/div[@class='info-detail']/html()").toString();
        String contact = page.getHtml().xpath("//div[@class='co_left fl_l']/div[@class='schlog']/div[@class='c-info']/p[@class='contact']/span/text()").toString();
        String schLogo = page.getHtml().xpath("//div[@class='co_left fl_l']/div[@class='schlog']/div[@class='sch-logo']/img/@src").toString();
        String slabs = page.getHtml().xpath("//div[@class='co_left fl_l']/div[@class='sch-jieshao']/div[@class='college-service mt25']/ul//html()").toString();
        List<String> spans = page.getHtml().xpath("//div[@class='co_left fl_l']/div[@class='schlog']/div[@class='c-info']/p[@class='label']/span/text()").all();
        List<String> remarks = page.getHtml().xpath("//div[@class='co_left fl_l']/ul[@class='school-detail-nav']/li/a/@href").all();


       /* List<String> rels = new ArrayList<>();
        for (String item : slabs) {
            Html tmp = Html.create(item);
            //标题
            String name = tmp.xpath("//li/p/text()").toString();
            rels.add(name);
        }*/
        String lastxt = HTMLUtils.getInnerText(slabs);
        String[] rels = lastxt.split("\n");
        page.putField("remarks",remarks);
        page.putField("details", HTMLUtils.getInnerText(details));
        page.putField("schLogo", schLogo);
        page.putField("creation",  rels[0]);
        page.putField("type",  rels[1]);
        page.putField("classify",  rels[2]);
        page.putField("belong",  rels[3]);
        page.putField("education",  rels[4]);


        page.putField("cityName",  rels[5]);
        page.putField("contact",  contact);
        page.putField("spans",  HTMLUtils.intersectionForList_3(spans,HTMLUtils.getForList_2()).toString().replaceAll("(?:\\[|null|\\]| +)", ""));

        if(SchoolInfoTxt == null) SchoolInfoTxt = new SchoolInfoTxt();

        SchoolInfoTxt.setThumb(schLogo);
        SchoolInfoTxt.setDetails(details);
        SchoolInfoTxt.setCreation(rels[0].trim());
        SchoolInfoTxt.setType(rels[1].trim());
        SchoolInfoTxt.setClassify(rels[2].trim());
        SchoolInfoTxt.setBelong(rels[3].trim());
        SchoolInfoTxt.setEducation(rels[4].trim());
        SchoolInfoTxt.setArea(rels[5].trim());
        SchoolInfoTxt.setFamous(HTMLUtils.intersectionForList_3(spans,HTMLUtils.getForList_2()).toString().replaceAll("(?:\\[|null|\\]| +)", ""));
        SchoolInfoTxt.setRemarks(remarks.toString().replaceAll("(?:\\[|null|\\]| +)", ""));
        SchoolInfoTxt.setContact(contact.replaceAll("招生电话：",""));
    }

    @Override
    public Site getSite() {
        return site;

    }

    public static void main(String[] args) {
       SchoolInfoTxtPageProcessor SchoolInfoTxtPageProcessor = new SchoolInfoTxtPageProcessor();
       SchoolInfoTxtPageProcessor.setLinkUrl("http://www.creditsailing.com/school/1438920.html");

       Spider.create(SchoolInfoTxtPageProcessor).addUrl(SchoolInfoTxtPageProcessor.getLinkUrl())
                .addPipeline(new ConsolePipeline()).run();

    }

}

schScore

import org.apache.commons.lang3.StringUtils;
import org.jeecg.common.util.HTMLUtils;

import org.jeecg.modules.sch.entity.SchoolScoreTxt;
import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.Request;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.Spider;
import us.codecraft.webmagic.pipeline.ConsolePipeline;

import java.util.ArrayList;
import java.util.List;

public class SchoolScoreTxtPageProcessor implements us.codecraft.webmagic.processor.PageProcessor {



    private Site site = Site.me().setDomain("www.creditsailing.com");

    private  String linkUrl ;


    public void setSite(Site site) {
        this.site = site;
    }

    private List<SchoolScoreTxt> SchoolScoreTxtList;

    public List<SchoolScoreTxt> getSchoolScoreTxtList() {
        return SchoolScoreTxtList;
    }

    public void setSchoolScoreTxtList(List<SchoolScoreTxt> SchoolScoreTxtList) {
        this.SchoolScoreTxtList = SchoolScoreTxtList;
    }

    public String getLinkUrl() {
        return linkUrl;
    }

    public void setLinkUrl(String linkUrl) {
        this.linkUrl = linkUrl;
    }



    @Override
    public void process(Page page) {
        List<String> links = page.getHtml().links().regex(getLinkUrl()).all();
        page.addTargetRequests(links);
  //      System.out.println(page.getHtml());
   /*     //查询所有id=‘ne_article_source’的节点的文本值
        String source=page.getHtml().xpath("//*[@id='ne_article_source']/text()").get();

        //查询所有id=‘endText’下p节点的文本，查询的是列表
        List<String> contextList=page.getHtml().xpath("//*[@id='endText']/p/text()").all();

        //查询所有id='endText'下p包含的图片的src列表
        List<String> imgurlList=page.getHtml().xpath("//*[@id='endText']/p/img/@src").all();

        //查询所有id='endText'下p包含的图片对象列表
        List<String> imgurlList2=page.getHtml().xpath("//*[@id='endText']/p/img").all();*/
        // List<String> areaList = page.getHtml().xpath("//div[@class='co_left fl_l']/div[@class='sch-SBSchoolList-attr']/div[@class='sch-box']/div[@id='area']/a[@class='sch-cell']").all();


        List<String> ales = page.getHtml().xpath("//div[@class='sch-SBSchoolList-attr']/div[@class='score']/table[@class='layui-table']/tbody/").all();
        String name = page.getHtml().xpath("//div[@class='co_left fl_l']/div[@class='schlog']/div[@class='c-info']/p[@class='title']/text()").toString();


        SchoolScoreTxtList = new ArrayList<>();
        for (String ele : ales) {
            String[] tdText = HTMLUtils.getTdText(ele);
            SchoolScoreTxt SchoolScoreTxt = new SchoolScoreTxt();
            SchoolScoreTxt.setSchCode(StringUtils.substringBetween(linkUrl, "all/all/", "."));
            SchoolScoreTxt.setSchName(name);
            SchoolScoreTxt.setControlined(tdText[7]);
            SchoolScoreTxt.setCourse(tdText[1]);
            SchoolScoreTxt.setEnroll(tdText[3]);
            SchoolScoreTxt.setLined(tdText[5]);
            SchoolScoreTxt.setPosited(tdText[6]);
            SchoolScoreTxt.setProvinces(tdText[0]);
            SchoolScoreTxt.setSpecialitd(tdText[4]);
            SchoolScoreTxt.setYeard(tdText[2]);

            SchoolScoreTxtList.add(SchoolScoreTxt);
        }
        page.putField("content",name);
    }

    @Override
    public Site getSite() {
        return site;

    }

    public static void main(String[] args) {
       SchoolScoreTxtPageProcessor SchoolScoreTxtPageProcessor = new SchoolScoreTxtPageProcessor();
       String url = "http://www.creditsailing.com/school/sch_score/all/all/1443119.html";
       SchoolScoreTxtPageProcessor.setLinkUrl(url);
       Request request = new Request(url);
       request.setMethod("GET");
       request.addHeader("User-Agent","Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/110.0.0.0 Safari/537.36 Edg/110.0.1587.57");
       Spider.create(SchoolScoreTxtPageProcessor).addRequest(request)
                .addPipeline(new ConsolePipeline()).run();

    }


}

subjectScore

import org.apache.commons.lang3.StringUtils;
import org.jeecg.common.util.HTMLUtils;
import org.jeecg.modules.sch.entity.SchoolScoreTxt;
import org.jeecg.modules.sch.entity.SchoolSubjectScoreTxt;
import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.Request;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.Spider;
import us.codecraft.webmagic.pipeline.ConsolePipeline;

import java.util.ArrayList;
import java.util.List;

public class SubjectScoreTxtPageProcessor implements us.codecraft.webmagic.processor.PageProcessor {



    private Site site = Site.me().setDomain("www.creditsailing.com");

    private  String linkUrl ;


    public void setSite(Site site) {
        this.site = site;
    }

    private List<SchoolSubjectScoreTxt> subjectScoreTxts;

    public List<SchoolSubjectScoreTxt> getSubjectScoreTxts() {
        return subjectScoreTxts;
    }

    public void setSubjectScoreTxts(List<SchoolSubjectScoreTxt> subjectScoreTxts) {
        this.subjectScoreTxts = subjectScoreTxts;
    }

    public String getLinkUrl() {
        return linkUrl;
    }

    public void setLinkUrl(String linkUrl) {
        this.linkUrl = linkUrl;
    }



    @Override
    public void process(Page page) {
        List<String> links = page.getHtml().links().regex(getLinkUrl()).all();
        page.addTargetRequests(links);
  //      System.out.println(page.getHtml());
   /*     //查询所有id=‘ne_article_source’的节点的文本值
        String source=page.getHtml().xpath("//*[@id='ne_article_source']/text()").get();

        //查询所有id=‘endText’下p节点的文本，查询的是列表
        List<String> contextList=page.getHtml().xpath("//*[@id='endText']/p/text()").all();

        //查询所有id='endText'下p包含的图片的src列表
        List<String> imgurlList=page.getHtml().xpath("//*[@id='endText']/p/img/@src").all();

        //查询所有id='endText'下p包含的图片对象列表
        List<String> imgurlList2=page.getHtml().xpath("//*[@id='endText']/p/img").all();*/
        // List<String> areaList = page.getHtml().xpath("//div[@class='co_left fl_l']/div[@class='sch-SBSchoolList-attr']/div[@class='sch-box']/div[@id='area']/a[@class='sch-cell']").all();


        List<String> ales = page.getHtml().xpath("//div[@class='sch-SBSchoolList-attr']/div[@class='score']/table[@class='layui-table']/tbody/").all();
        String name = page.getHtml().xpath("//div[@class='co_left fl_l']/div[@class='schlog']/div[@class='c-info']/p[@class='title']/text()").toString();
        String href = page.getHtml().xpath("//div[@class='co_left fl_l']/ul[@class='school-detail-nav']/li/a/@href").toString();
        List<String> res = page.getHtml().xpath("//div[@id='sch_types']/a/@href").all();

        subjectScoreTxts = new ArrayList<>();
        for (String ele : ales) {
            String[] tdText = HTMLUtils.getTdText(ele);
            SchoolSubjectScoreTxt  subjectScoreTxt = new SchoolSubjectScoreTxt();
            subjectScoreTxt.setSchCode(StringUtils.substringBetween(href, "ool/", "."));
            subjectScoreTxt.setSchName(name);

            subjectScoreTxt.setProvinces(tdText[0]);
            subjectScoreTxt.setYeard(tdText[1]);
            subjectScoreTxt.setCourse(tdText[2]);
            subjectScoreTxt.setEnroll(tdText[3]);
            subjectScoreTxt.setSpecialitd(tdText[4]);
            subjectScoreTxt.setMinLined(tdText[5]);
            subjectScoreTxt.setMinPosited(tdText[6]);
            subjectScoreTxt.setRemarks(res.toString().replaceAll("(?:\\[|null|\\]| +)", ""));
            subjectScoreTxts.add(subjectScoreTxt);
        }
        page.putField("content",subjectScoreTxts.get(0));
    }

    @Override
    public Site getSite() {
        return site;

    }

    public static void main(String[] args) {
       SubjectScoreTxtPageProcessor SchoolScoreTxtPageProcessor = new SubjectScoreTxtPageProcessor();
       String url = "http://www.creditsailing.com/school/major_score/all/2022/2792339.html";
       SchoolScoreTxtPageProcessor.setLinkUrl(url);
       Request request = new Request(url);
       request.setMethod("GET");
       request.addHeader("User-Agent","Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/110.0.0.0 Safari/537.36 Edg/110.0.1587.57");
       Spider.create(SchoolScoreTxtPageProcessor).addRequest(request)
                .addPipeline(new ConsolePipeline()).run();

    }



}
九天-暗魂
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
java webmagic_Java爬虫框架之WebMagic实战
weixin_36064512的博客
02-16 301
一、介绍WebMagic是一个简单灵活的Java爬虫框架。基于WebMagic，你可以快速开发出一个高效、易维护的爬虫。二、如何学习1.查看官网2.跑通hello world示例(具体可以参考官网，也可以参考博客)我下面写的单元测试案例，可作为Hello World示例。注意需要导入Maven依赖:us.codecraftwebmagic-core0.7.3us.codecraftwebmagic...
java 爬虫_Java爬虫框架之WebMagic实战_java
weixin_39932939的博客
12-02 127
这篇文章主要介绍了Java爬虫框架之WebMagic实战，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧一、介绍WebMagic是一个简单灵活的Java爬虫框架。基于WebMagic，你可以快速开发出一个高效、易维护的爬虫。二、如何学习1.查看官网官网地址为:官网详细文档:docs/zh/2.跑通hello world示例(具体...
WebMagic轻量级爬虫框架实战-根据关键词爬取某网站数据
最新发布
qq_37831937的博客
05-28 711
PageProcessor组件逻辑。
【完整项目代码在底部】基于 WebMagic 的爬虫实战
qq_18244417的博客
04-27 274
“WebMagic 是一个简单灵活的 Java 爬虫框架，基于 WebMagic，你可以快速开发出一个高效、易维护的爬虫程序。你可以直接去官网查看说明文档(http://webmagic....
（11）Java爬虫框架webmagic实战
好女绪的博客
12-15 724
Java爬虫框架webmagic实战 本文是我关于webmagic爬虫框架的实战——爬取古诗词网站的诗词数据。此代码只用于爬虫学习，勿用于商业用途。 安装webmagic webmagic使用maven管理依赖，在项目中添加对应的依赖即可使用webmagic： &amp;lt;dependency&amp;gt; &amp;lt;groupId&amp;gt;us.codecraft&amp;lt;/groupId&amp;gt; ...
webmagic垂直爬虫-其他
06-12
webmagic是一个开源的Java垂直爬虫框架，目标是简化爬虫的开发流程，让开发者专注于逻辑功能的开发。webmagic的核心非常简单，但是覆盖爬虫的整个流程，也是很好的学习爬虫开发的材料。webmagic的主要特色：1、完全...
基于webmagic爬虫表情包案例.zip
03-08
【标题】：基于WebMagic爬虫的表情包案例 在当今互联网时代，表情包已经成为网络交流的重要组成部分，它们丰富了我们的在线对话，传达了各种情绪。WebMagic是一个强大的Java爬虫框架，它允许开发者轻松地抓取网页上...
java爬虫实战项目源码
02-01
Java爬虫实战项目源码是针对有一定编程基础的开发者设计的学习资源，主要涵盖了Java语言在爬虫领域的应用。这个项目提供了完整的源代码，允许用户自行导入到编译工具中进行运行，以加深对爬虫技术的理解和实践。下面...
一个基于webmagic新闻爬虫系统
04-08
一个基于webmagic框架二次开发的java爬虫框架实战，已实现能爬取腾讯，搜狐，今日头条（单独集成功能）等资讯内容，配合elasticsearch框架用法，实现了自动爬虫，已投入线上生产使用，可以用于毕业设计（项目源码+...
java爬虫框架之webMagic
10-13
在spider_demo项目中，我们可以看到一个简单的WebMagic爬虫是如何工作的。首先，创建一个Spider实例，指定起始URL和PageProcessor。PageProcessor是自定义的类，用于解析HTML并抽取数据。然后，Spider会自动执行以下...
webmagic （项目+全部jar包+教程文档）
04-01
webmagic （项目+全部jar包+教程文档）版本是当前最新webmagic-0.7.3。可以参考博文：https://blog.csdn.net/qq_29914837/article/details/88918685
springBoot+webMagic实现网站爬虫的实例代码
08-19
主要介绍了springBoot+webMagic实现网站爬虫的实例代码，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
一个基于webmagic框架二次开发的java爬虫框架实战
01-24
一个基于webmagic框架二次开发的java爬虫框架实战，已实现能爬取腾讯，搜狐，今日头条（单独集成功能）等资讯内容，配合elasticsearch框架用法，实现了自动爬虫，已投入线上生产使用
java webmagic 使用_java爬虫之webmagic实战
weixin_29173299的博客
02-16 193
前言在学了关于webmagic的东西之后,就想搞点事情,于是乎就又去挖起点的墙角了开搞1.要先添加依赖并找到一个要爬的目标us.codecraftwebmagic-core0.7.3us.codecraftwebmagic-extension0.7.32.使用xpath语法找这个cfSelectable div = page.getHtml().xpath("//div[@class=\"focu...
java初级项目 小说_webmagic项目实战（爬小说网站）
weixin_42514432的博客
03-08 280
正常发货正版包邮java从入门到软件68.9元包邮(需用券)去购买 >项目背景小说网站优书网(http://yousuu.com/bookstore/)提供的小说查询功能不是很强大，很多高级查询功能都没有，比如想要查询出评分在8.0以上并且标签包含‘仙侠’、字数超过100万字的小说列表，查询结果按评分倒序排序。为了解决这个痛点，我们把所有小说数据(包含小说名称、评分、简介、作者等信息)爬到本...
十一、学习爬虫框架WebMagic（七）---实战小技巧
panchang199266的博客
01-27 846
（一）Site.sleepTime的设置问题   Webmagic 框架默认的休眠时间为5000（5s），我看网上一般设置为1000（1s），经实际验证，若休眠时间过短，在多线程访问页面时，会报大量的403错误，所以这里在爬取线程过多时，不妨就用框架默认的休眠时间。 （二）page.setSkip()   Webmagic通过 Processor 和 Pipeline 组件，将爬取页面和爬取之后的...
从头学习爬虫（二十九）实战篇----WebMagic爬CSDN博客
qq_36783371的博客
05-03 3274
WebMagic入门实战下CSDN，20行代码实现爬取标题spiderimport java.util.List; import us.codecraft.webmagic.Page; import us.codecraft.webmagic.Site; import us.codecraft.webmagic.Spider; import us.codecraft.webmagic.proce...
Java爬虫（四）-- 爬虫必备页面测试框架：Selenium结合Webmagic实战（含demo）
stalin_的博客
01-10 1257
一、Selenium介绍 Selenium是一个开源的测试化框架，框架底层使用JavaScript模拟真实用户对浏览器进行操作。测试脚本执行时，浏览器自动按照脚本代码做出点击，输入，打开，验证等操作，由于它可以模拟用户操作，功能比较强大，所以在爬虫上也是比较常用的一种手段。 二、selenium安装（以谷歌浏览器为例） 1、首先你需要安装谷歌浏览器。 2、安装后看一下谷歌浏览器的版本。 找到 设置–关于 在该地址下找到对应自己浏览器版本的驱动：https://chromedriver.chromium.or
webmagic爬虫项目
05-27
WebMagic 是一款基于 Java 的简单、灵活、可扩展的爬虫框架，它支持多线程抓取、分布式抓取和自定义抽取等功能。WebMagic 的使用非常方便，只需要定义一个 Java 类来描述要抓取的网页结构，然后通过一些简单的配置...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值