EasyCrawler-Post请求之爬个优衣库

最新推荐文章于 2023-05-17 20:38:53 发布

艾V古斯

最新推荐文章于 2023-05-17 20:38:53 发布

阅读量772

点赞数

分类专栏： Java 爬虫文章标签： java post web js 数据挖掘

本文链接：https://blog.csdn.net/a81579261/article/details/103684651

版权

本文介绍了如何使用EasyCrawler框架进行POST请求爬取优衣库网站，通过WebMagic框架实现后台功能，并结合EasyExcel进行数据导出。详细步骤包括设置请求网站、筛选表达式、填写所需字段以及导出数据。

摘要由CSDN通过智能技术生成

EasyCrawler-Post请求之爬个优衣库

继续上次深圳老哥提的需求，我总算完成任务交给他了。同时想着写写博客发发资源赚点csdn的积分的，但是好像没有那么容易，所以我还是决定将这个项目开源了。
EasyCrawler-Git地址: https://github.com/a81579261/EasyCrawler
由于我前端和后端的能力都不是特别突出，希望不喜勿喷，谢谢。

正文

效果图

在这里插入图片描述

后台介绍

后台用的是WebMagic框架，具体为啥可以看之前的文章。同时我加入的Excel导出功能，这样更符合我的理念，人人都会爬虫，因为不是人人都会写SQL去查询数据库的。导出用的是阿里巴巴的EasyExcel。由于开源了，后台的东西就不细讲了，核心代码如下：

    public String post(PostRequestDto postRequestDto) {
   
        this.postRequestDto = postRequestDto;
        Request request = new Request(postRequestDto.getPage());
        request.setMethod(HttpConstant.Method.POST);
        //获取入参json
        JSONObject jsonObject = JSONObject.fromObject(postRequestDto.getContent());
        //如果有增量参数循环，没有直接执行
        if (StringUtils.isNotEmpty(postRequestDto.getAscParam()))