java爬取27270代码

最新推荐文章于 2021-11-01 14:22:52 发布

「已注销」

最新推荐文章于 2021-11-01 14:22:52 发布

阅读量1.8k

点赞数

分类专栏： java 文章标签： java feign

本文链接：https://blog.csdn.net/weixin_41613598/article/details/86606493

版权

这篇博客展示了如何利用Java和Feign库来爬取27270网站的数据。作者提供了相关的代码示例，包括FileSchedule类用于定时任务，Www27270comClientWrapper类作为Feign客户端包装，以及Www27270comClient接口定义了Feign调用的具体API。完整代码可以在Gitee仓库fufu669/fupengwang-selenium中查看。

摘要由CSDN通过智能技术生成

java爬取27270代码@wangfupeng

我就直接贴代码了。

import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.scheduling.annotation.Scheduled;
import org.springframework.stereotype.Component;
import org.springframework.util.StringUtils;

@Component
public class FileSchedule {
public static final Logger logger = LoggerFactory.getLogger(FileSchedule.class);

@Autowired
Www27270comClientWrapper www27270comClientWrapper;

@Autowired
PictureCategoryService pictureCategoryService;

@Autowired
PictureService pictureService;

@Scheduled(cron="0 0 * * * ?")
public void getMethod() {
    for (int page = 1; page < 200; page++) {
        String meinvtupianString = www27270comClientWrapper.meinvtupian("list_11_" + page);
        String meinvtupianBoxDiv = HtmlUtil.getHtmlString(meinvtupianString, "<div class=\"MeinvTuPianBox\">", "</div>", 1, 0);
        String meinvtupianBoxDivUl = HtmlUtil.getHtmlString(meinvtupianBoxDiv, "<ul>", "</ul>", 1, 0);
        String[] meinvtupianBoxDivUlLis = meinvtupianBoxDivUl.split("</li>");
        for (int i = 0; i < meinvtupianBoxDivUlLis.length - 1; i++) {
            String meinvtupianBoxDivUlLi = meinvtupianBoxDivUlLis[i];
            String pictureUrl = HtmlUtil.getHtmlString(meinvt