Java 爬虫实战

最新推荐文章于 2024-05-14 19:21:39 发布
最新推荐文章于 2024-05-14 19:21:39 发布
阅读量673 收藏 3
点赞数
分类专栏： SpringBoot Webgic 使用实例 文章标签： java 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kangguang/article/details/105200167
版权
SpringBoot 同时被 3 个专栏收录
58 篇文章 1 订阅
订阅专栏
使用实例
16 篇文章 0 订阅
订阅专栏
Webgic
2 篇文章 0 订阅
订阅专栏

一、项目需要

  • 对某类网站的数据进行数据采集
  • 采用每天定时开启任务
  • 将数据写入数据库
  • 对已经采集对信息进行跟新处理

二、采用技术

  •  项目框架Spring Boot
  •  爬虫工具：webmagic
  •  数据库：Mysql
  •  定时器：@Scheduled 开启
  •  cron在心解析地址：http://cron.qqe2.com/
  •  网页分析：Goole Chrome
  •  语句解析采用：XPach

三、图解

四、技术说明

1.添加依赖

	<dependencies>
		<dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter-web</artifactId>
		</dependency>
		<dependency>
			<groupId>mysql</groupId>
			<artifactId>mysql-connector-java</artifactId>
			<scope>runtime</scope>
		</dependency>
		<dependency>
			<groupId>org.mybatis.spring.boot</groupId>
			<artifactId>mybatis-spring-boot-starter</artifactId>
			<version>2.1.0</version>
		</dependency>
		<dependency>
			<groupId>com.alibaba</groupId>
			<artifactId>druid-spring-boot-starter</artifactId>
			<version>1.1.10</version>
		</dependency>
		<dependency>
			<groupId>us.codecraft</groupId>
			<artifactId>webmagic-core</artifactId>
			<version>0.7.3</version>
		</dependency>
		<dependency>
			<groupId>us.codecraft</groupId>
			<artifactId>webmagic-extension</artifactId>
			<version>0.7.3</version>
		</dependency>

 

2.mybatis映射文件检查配置

   <build>
		<resources>
			<resource>
				<directory>src/main/java</directory>
				<includes>
					<include>**/*.xml</include>
				</includes>
			</resource>
			<resource>
				<directory>src/main/resources</directory>
			</resource>
		</resources>
		<plugins>
		</plugins>
	</build>

3.项目配置文件

application.properties 文件
spring.profiles.active= dev

   

application-dev.properties 开发环境配置文件

server.port=8810 

spring.datasource.type=com.alibaba.druid.pool.DruidDataSource

spring.datasource.username=root
spring.datasource.password=kxxxxg198811
spring.datasource.url=jdbc:mysql://localhost:3306/zhaizhu?useUnicode=true&characterEncoding=UTF-8&serverTimezone=Asia/Shanghai

zhzmagic.wydyqcchome=https://www.qqqqqccccccc.com/
zhzmagic.wydgjhome=''

 

application-pro.properties 生产环境配置文件

server.port=9010 

spring.datasource.type=com.alibaba.druid.pool.DruidDataSource

spring.datasource.username=****
spring.datasource.password=kxxxxg198811
spring.datasource.url=jdbc:mysql://************:3306/*****?useUnicode=true&characterEncoding=UTF-8&serverTimezone=Asia/Shanghai

zhzmagic.wydyqcchome=https://www.qqqqqccccccc.com/
zhzmagic.wydgjhome=''

  自定义属性配置类

@Component
@ConfigurationProperties(prefix = "zhzmagic")
public class MagicUrlConfig
{
    private String qcchome;
    private String gjhome;

    public String getGjhome() {
        return gjhome;
    }

    public String getQcchome() {
        return qcchome;
    }

    public void setGjhome(String gjhome) {
        this.gjhome = gjhome;
    }

    public void setQcchome(String qcchome) {
        this.qcchome = qcchome;
    }
}

4.定时任务类

@Component
public class MagicTask {
    @Autowired
    MagicUrlConfig magicUrlConfig;

    @Autowired
    CompQccHomeProcessor compQccHomeProcessor;
    //根据情况自行定义时间
    @Scheduled(cron = "1 42 14 * * ? ")
    public void wagicCompany()
    {
        String url = magicUrlConfig.getQcchome();
        Spider.create(compQccHomeProcessor)
                .addUrl(url)
                .thread(1)//设置 线程数
                .run();
    }
}
@SpringBootApplication
//映射文件扫描路径
@MapperScan(basePackages = "com.kxg.datasrc.mapper")
//开启定时
@EnableScheduling
public class DatasrcApplication {

	public static void main(String[] args) {
		SpringApplication.run(DatasrcApplication.class, args);
	}

}

5.网络爬虫相关配置

@Component
public class CompQccHomeProcessor implements PageProcessor {
    @Autowired
    QccCompsService qccCompsService;

    private Site site = Site.me()
            .setRetryTimes(3)//重试次数
            .setSleepTime(8000)//睡眠时间
            .addHeader("User-Agent", "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 Safari/537.36");
    @Override
    public  Site getSite()
    {
        return  site;
    }

    @Override
    public  void  process(Page page)
    {
        //判断是否首页
        if (page.getUrl().regex("https://www.***********.com/").match()){
            List<String> compCategories = new ArrayList<>();
            //去往解析类，将分页连接解析出来
            Parse.getCompCategorysUrl(page, compCategories);
            //添加到任务队列
            page.addTargetRequests(compCategories);
        }
        //检查是否是二级分页
        if (page.getUrl().regex("https://www.***********.com/"  + "industry_*").match()){
            List<String> urlList = new ArrayList<>();
            List<CompDetail> compDetailList = new ArrayList<>();
            //解析详情页链接列表和分页数据
            Parse.getCompList(page,compDetailList,urlList);
            //将分页数据写入数据库（因为详情页面的数据不全，如果不需要这里的数据采集，可
              在下级解析中解析数据并插入到数据库中，这里插入后，下级解析变成更新操作 ）
            qccCompsService.insertCompany(compDetailList);
            if (urlList.size() >0)
            {
                //将链接添加到任务队列
                page.addTargetRequests(urlList);
            }

        }
        //检查是否是详情页
        if (page.getUrl().regex("https://www.********.com/"  + "firm_*").match()){
            CompDetail detail = new CompDetail();
            //解析详情数据
            Parse.getCompCategoryDetail(page, detail);
            //更新到数据库
            qccCompsService.updateCompanyDetail(detail);
        }

    }
}

6.数据解析文件

public class Parse {
    

    public  static  void  getCompCategorysUrl(Page page, List<String> compCategoryList)
    {
        Html html = page.getHtml();
        Selectable selectable = html.xpath("//*[@id=\"hangye\"]");
        Selectable as = selectable.xpath("//a");
        List<String> moreurls =  selectable.links().all();
        for (Selectable node : as.nodes())
        {
            String h = node.links().get();
            String t = node.xpath("//span/text()").get();
            if (t == null && h != null)
            {
                compCategoryList.add(h);
            }
        }
    }

    public  static  void  getCompCategorysListUrl(Page page, List<String> compCategoryList)
    {
        Html html = page.getHtml();
        Selectable selectable = html.xpath("//*[@id=\"searchlist\"]/table/tbody");
        Selectable as = selectable.xpath("//a");
        //compCategoryList =  selectable.links().all();
        for (Selectable node : as.nodes())
        {
            String h = node.links().get();
            if ( h != null)
            {
                compCategoryList.add(h);
            }
        }
    }

    public  static  void  getCompList(Page page,List<CompDetail> compDetailslist, List<String> urlList){
        Html html = page.getHtml();
        Selectable selectable = html.xpath("//*[@id=\"searchlist\"]/table/tbody/tr");
        for (Selectable node : selectable.nodes()){
            CompDetail compDetail = new CompDetail();
            String imgurl = node.xpath("/tr/td[1]/img/@src").get();
            compDetail.setLogoUrl(imgurl);
            String complink =  node.xpath("/tr/td[2]/a").links().get();
            if (complink != null){
                urlList.add(complink);
            }
            String cname =  node.xpath("/tr/td[2]/a/text()").get();
            String phone =  node.xpath("/tr/td[2]/p[2]/span/text()").get();
            String email =  node.xpath("/tr/td[2]/p[2]/text()").get();

            String[]  strs=phone.split("：");
            phone = strs[strs.length-1];
            String[]  strs2=email.split("：");
            email = strs2[strs2.length-1];

            compDetail.setPhone(phone);
            compDetail.setEmail(email);
            compDetail.setCompName(cname);
            compDetailslist.add(compDetail);
            System.out.println(phone);

        }
    }
    public  static  void  getCompCategoryDetail(Page page, CompDetail compDetail)
    {
        if (compDetail == null)
        {
            compDetail = new CompDetail();
        }
        Html html = page.getHtml();
        Selectable selectable = html.xpath("//*[@id=\"searchlist\"]/table/tbody");
        String compname = html.xpath("//*[@id=\"company-top\"]/div[2]/div[1]/div[1]/img/@alt").get();
        compDetail.setCompName(compname);
        Selectable detailNode = html.xpath("//*[@id=\"Cominfo\"]/table/tbody");
        String legalpersonname = detailNode.xpath("/tbody/tr[1]/td[2]/div/a/text()").get();
        String statustd = detailNode.xpath("/tbody/tr[1]/td[4]/text()").get();
        String regCatpital =detailNode.xpath("/tbody/tr[2]/td[2]/text()").get();
        String address =detailNode.xpath("/tbody/tr[8]/td[2]/text()").get();
        String compType =detailNode.xpath("/tbody/tr[5]/td[2]/text()").get();
        String industry =detailNode.xpath("/tbody/tr[4]/td[6]/text()").get();
        String orgcode =detailNode.xpath("/tbody/tr[3]/td[4]/text()").get();
        String regdate =detailNode.xpath("/tbody/tr[1]/td[6]/text()").get();
        String creditcode =detailNode.xpath("/tbody/tr[3]/td[2]/text()").get();
        String regauth =detailNode.xpath("/tbody/tr[5]/td[6]/text()").get();
        String region =detailNode.xpath("/tbody/tr[6]/td[6]/text()").get();
        String busscope =detailNode.xpath("tbody/tr[9]/td[2]/text()").get();
        String usedname =detailNode.xpath("/tbody/tr[7]/td[2]/text()").get();
        String perscale =detailNode.xpath("/tbody/tr[6]/td[2]/text()").get();

        compDetail.setDetailUrl(page.getUrl().get());
        compDetail.setLegalPerson(legalpersonname);
        compDetail.setStatusetd(statustd);
        compDetail.setRegCapital(regCatpital);
        compDetail.setAddress(address);
        compDetail.setCompType(compType);
        compDetail.setIndustry(industry);
        compDetail.setOrgCode(orgcode);
        compDetail.setRegDate(regdate);
        compDetail.setCreditCode(creditcode);
        compDetail.setRegAuth(regauth);
        compDetail.setRegion(region);
        compDetail.setBusScope(busscope);
        compDetail.setUsedName(usedname);
        compDetail.setPerScale(perscale);
        System.out.println(compDetail);

    }
}

7.service

@Service
public class QccCompsService {
    @Resource
    CompDetailMapper compDetailMapper;

    public int insertCompany(List<CompDetail> compDetails)
    {
      return  compDetailMapper.insertCompany(compDetails);
    }

    @Transactional
    public int updateCompanyDetail(CompDetail  compDetail)
    {
       return compDetailMapper.updateCompanyDetail(compDetail);
    }

8、数据mapper文件

public interface CompDetailMapper {
    int insertCompany(List<CompDetail> compDetails);

    int updateCompanyDetail(CompDetail  compDetail);
    int updateCompanyUseStatus(String compName,int isUse);
    int updateCompanys(List<CompDetail> compDetails);
    
}
<?xml version="1.0" encoding="UTF-8" ?>
<!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "http://mybatis.org/dtd/mybatis-3-mapper.dtd" >
<mapper namespace="com.kxg.datasrc.mapper.CompDetailMapper">
    <insert id="insertCompany" parameterType="java.util.List">
        insert ignore compdetail (compName,email,phone,logoUrl)
        values
        <foreach collection="list" item="item" index="index" separator=",">
            (#{item.compName,jdbcType=VARCHAR},#{item.email,jdbcType=VARCHAR},#{item.phone,jdbcType=CHAR},#{item.logoUrl,jdbcType=VARCHAR})
        </foreach>
    </insert>
    <update id="updateCompanyDetail" parameterType="com.kxg.datasrc.model.CompDetail">
        update compdetail
        <set>
            <if test="compName != null">
                compName = #{compName,jdbcType=VARCHAR},
            </if>
            <if test="address != null">
                address = #{address,jdbcType=VARCHAR},
            </if>
            <if test="statusetd != null">
                statusetd = #{statusetd,jdbcType=VARCHAR},
            </if>
            <if test="detailUrl != null">
                detailUrl = #{detailUrl,jdbcType=VARCHAR},
            </if>
            <if test="legalPerson != null">
                legalPerson = #{legalPerson,jdbcType=VARCHAR},
            </if>
            <if test="regCapital != null">
                regCapital = #{regCapital,jdbcType=VARCHAR},
            </if>
            <if test="regDate != null">
                regDate = #{regDate,jdbcType=VARCHAR},
            </if>
            <if test="compType != null">
                compType = #{compType,jdbcType=VARCHAR},
            </if>
            <if test="orgCode != null">
                orgCode = #{orgCode,jdbcType=VARCHAR},
            </if>
            <if test="industry != null">
                industry = #{industry,jdbcType=VARCHAR},
            </if>
            <if test="creditCode != null">
                creditCode = #{creditCode,jdbcType=VARCHAR},
            </if>
            <if test="regAuth != null">
                regAuth = #{regAuth,jdbcType=VARCHAR},
            </if>
            <if test="region != null">
                region = #{region,jdbcType=VARCHAR},
            </if>
            <if test="busScope != null">
                busScope = #{busScope,jdbcType=VARCHAR},
            </if>
            <if test="usedName != null">
                usedName = #{usedName,jdbcType=VARCHAR},
            </if>
            <if test="perScale != null">
                perScale = #{perScale,jdbcType=VARCHAR},
            </if>
            <if test="isUse != null">
                isUse = #{isUse,jdbcType=BIT},
            </if>
        </set>
        where compName = #{compName,jdbcType=VARCHAR}
    </update>

    <update id="updateCompanyUseStatus" >
        update compdetail
        <set>
            <if test="isUse != null">
                isUse = #{isUse,jdbcType=BIT},
            </if>
        </set>
        where compName = #{compName,jdbcType=VARCHAR}
    </update>
</mapper>

四、测试

运行项目稍等片刻成功

 

 

清雨未尽时
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
一个基于webmagic框架二次开发的java爬虫框架实战
01-24
一个基于webmagic框架二次开发的java爬虫框架实战，已实现能爬取腾讯，搜狐，今日头条（单独集成功能）等资讯内容，配合elasticsearch框架用法，实现了自动爬虫，已投入线上生产使用
java爬虫详解及简单实例
weixin_44617651的博客
06-02 3484
java爬虫是一种自动化程序，可以模拟人类在互联网上的行为，从网站上抓取数据并进行处理。下面是Java爬虫的详细解释：
Java爬虫的几种方式
最新发布
weixin_42795092的博客
05-14 1067
最后，使用一个循环遍历每个链接，并通过link.text()获取链接的文本，通过link.attr(“href”)获取链接的URL。通过Selenium，您可以控制浏览器的行为，获取完整的页面内容。在上面的示例代码中，我们创建了一个WebClient对象，它代表了一个模拟的浏览器。当使用Java IO进行爬虫时，我们需要先获取网页的内容，然后可以使用Java IO类来处理和解析这些内容。请注意，HtmlUnit是一个强大的工具，可以模拟用户在浏览器中的操作，但它的运行需要一些依赖库。
java 爬虫实战
qq_46524280的博客
12-09 367
java爬虫详解 1、第一个爬虫实践 所需要的maven依赖 <!--自动进行访问浏览器--> <dependency> <groupId>org.apache.httpcomponents</groupId> <artifactId>httpclient</artifactId> <version>4.5.2</version> </dependency&
【java爬虫】selenium+browsermob入门实战
haohulala的博客
06-24 2281
到这里，本文的主要内容就介绍完了。使用selenium+browsermob可以非常方便地进行网络数据收集，不过我感觉有一个缺点就是运行起来非常慢，在爬下批量数据的情况下可以使用，但是如果要快速爬取大批量数据的话，还是直接用http去请求接口，对于反爬虫机制比较好的接口，可以去研究一下js逆向，selenium相对于直接去请求接口的一大优势就是不用花时间去研究js逆向，直接写代码去获取数据就完事了。那么本文就到此结束，如果你有什么想和我交流讨论欢迎评论区留言。
Java爬虫实战训练源码
02-27
Java爬虫实战训练源码是学习和掌握网络数据抓取技术的一个重要实践资源。在这个训练中，我们将深入探讨Java语言如何被用来构建高效、稳定且功能强大的网络爬虫。Java作为一门面向对象的语言，提供了丰富的库和框架，...
java爬虫实战项目源码
02-01
Java爬虫实战项目源码是针对有一定编程基础的开发者设计的学习资源，主要涵盖了Java语言在爬虫领域的应用。这个项目提供了完整的源代码，允许用户自行导入到编译工具中进行运行，以加深对爬虫技术的理解和实践。下面...
Java爬虫实战：轻松爬取CSDN个人博客文章.zip
04-29
Java爬虫实战：轻松爬取CSDN个人博客文章是一个基于Java编程语言的项目，旨在帮助用户自动化地从CSDN（China Software Developer Network）网站抓取个人博客文章并保存到本地。这个项目对于那些想要备份自己或者他人...
Java爬虫实战教程：CSDN文章爬取与解析技巧.zip
04-29
在本Java爬虫实战教程中，我们将探讨如何利用Java技术来爬取并解析CSDN（China Software Developer Network）网站上的文章。CSDN作为中国最大的开发者社区，提供了丰富的技术文章，是学习和分享编程知识的重要平台。...
Java实现爬虫
weixin_72753070的博客
07-15 2万+
关于美国历来每次飞机失事的数据，包含时间地点、驾驶员、死亡人数、总人数、事件描述，一共有12列，第一列是标题，下面一共有5268条数据。多线程中如果想设置等待状态，有一个方法可以实现wait()，如果想从等待状态唤醒，则可以使用notify()。通过Pattern和Matcher的配合，我们可以把一段内容中匹配我们要求的文字提取出来，方便我们来处理。对爬取的HTML页面来说，如果想提取连接地址，就必须找到所有超连接的标签和对应的属性。需要先自定义一个线程的操作类，在这个操作类中判断不同的状态，并且根。...
【Java】爬虫，能不能再详细讲讲？万字长文送给你！
midnight_time的博客
07-16 3203
前言 本文仅用于学习知识探讨，绝无其它恶意。 前两篇基础文章链接： 《【Java】爬虫，看完还爬不下来打我电话 》 《【Java】爬虫，数据持久化到MongoDB》 本文打算再详细的讲讲一些流程细节，另外，最后有写到如何分析爬取下来的内容。 在开始正文之前，还要说清一件事：我是小白，能不能学会爬虫？ 答：学不会，别学了，放弃吧。赶紧拿起手机，打游戏吧。这么热的天，哪凉快哪去，千万别遭这个罪。 正文...
【Java】使用Java实现爬虫
Do_GH的博客
08-04 2万+
利用HtmlUtil和HttpClient实现爬取网页内容
java常用的爬虫框架
热门推荐
数据知道的博客
12-31 4万+
目前主流的Java爬虫框架主要有Nutch、Crawler4j、WebMagic、WebCollector等。 1. 分布式爬虫：Nutch github地址：https://github.com/andrewcao95/nutch-crawler Nutch是apache旗下的一个用Java实现的开源索引引擎项目，通过nutch，诞生了hadoop、tika、gora。Nutch的设计初衷主要是...
简单又实用java爬虫超快入门
qq_44789643的博客
05-02 962
本次使用Jsoup解析网页，对网页中的标签进行一步一步解析查找，获取想要的信息，在使用实体类进行扩展，但没有实现将其以文件形式持久化保存，和没有页面进行绑定简化操作，还有很多后续的优化。
Java学习指南 Swing项目实战篇
08-18
一、课程简介本课程是基于Java Swing 技术的项目实战教程，每章为一个项目实例。前置课程为 Swing入门篇 和 Swing高级篇。以下项目中，界面部分使用 Swing 实现，为了实现项目需求，一般还会结合使用 Swing 之外的技术。本课程包含以下项目： ♀ 计算器 ♀ 仿QQ界面 ♀ 五子棋 ♀ 抽奖器 ♀ 密码本  ♀ 音乐播放器 ♀ 俄罗斯方块  ♀ 网络爬虫  ♀ 图书数据管理 (Swing + MySQL JDBC )二、课程特点- 每章一个项目实例，各自独立- 每个项目约5-10个类，属于小型项目- 每个项目都具有实际的功能，并非单纯的教学演示。因此可能会综合运用到其他篇章的技术点。三、课程体系『Java学习指南』系列：Java的语法、原理、API、框架技术等方面『Java项目实战』系列：项目实战，综合运用多篇教程的知识，每个项目为一个独立的课程。
Java-网络爬虫(一)
xhmico的博客
01-02 2301
在大数据时代，信息采集是一项重要的工作，而互联网中的数据是海量的，如果单纯靠人力进行信息获取，不仅低效繁琐，而且搜集的成本也会提高，如何自动高效地获取互联网中的数据是一个重要的问题，而爬虫技术就是针对这些问题而生的。网络爬虫（Web crawler）又称为网络蜘蛛或网络机器人，是一种自动化程序，用于在互联网上浏览和抓取信息，是互联网时代一项普遍运用的网络信息搜集技术。该项技术最早应用于搜索引擎领域，是搜索引擎获取数据来源的支撑性技术之一。
探索Java爬虫框架：解锁网络数据之门
hitpter的专栏
09-26 1712
随着互联网时代的发展，大量的数据被存储在各种网页中。Selenium是一个用于自动化浏览器操作的框架，它可以模拟用户在浏览器中的行为，执行JavaScript代码，并获取网页内容。WebMagic是一个基于Java的开源爬虫框架，它提供了一个灵活且易于使用的API，可以帮助开发人员快速开发爬虫程序。你可以从Apache HttpClient的官方网站上下载最新的jar包，并将其添加到你的项目中。Jsoup是一个用于解析HTML文档的Java库，它提供了简单易用的API，可以方便地进行网页内容的解析和处理。
python-爬虫.pdf
01-30
python_爬⾍ 1、⽹络爬⾍ 1、定义：⽹络蜘蛛，⽹络机器⼈，抓取⽹络数据的程序 2、总结：⽤Python程序去模仿⼈去访问⽹站，模仿的越逼真越好 3、⽬的：通过有效的⼤量的数据分析市场⾛势，公司的决策 2、企业获取数据的⽅式 1、公司⾃有 2、第三⽅数据平台购买 1、数据堂、贵阳⼤数据交易所 3、爬⾍程序爬取数据 市场上没有或者价格太⾼，利⽤爬⾍程序去爬取 3、Python做爬⾍的优势 1、Python：请求模块、解析模块丰富成熟 2、PHP：多线程，异步⽀持不够好 3、JAVA：代码笨重，代码量⼤ 4、C/C++：虽然效率⾼，但代码成型太慢 4、爬⾍的分类 1、通⽤的⽹络爬⾍（搜索引擎引⽤，需要遵守robots协议

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值