java多线程爬取多个网站的资源

nianyuw

已于 2022-08-31 10:48:22 修改

阅读量421

点赞数 1

分类专栏： Java 文章标签：爬虫 java 开发语言

于 2022-08-27 22:17:47 首次发布

本文链接：https://blog.csdn.net/m0_61820867/article/details/126563324

版权

本文介绍如何将Java多线程与爬虫技术结合，通过创建多个线程同时爬取不同网址的数据，并最终整合结果。示例中未使用正则匹配网址，而是直接指定四个网址进行爬取。

摘要由CSDN通过智能技术生成

使用多线程爬取数据

之前的博客李介绍了多线程的使用以及如何简单使用java的爬虫，本文把二者做一个简单的结合，使用多线程同时查不同的网址，最后把结果合并

没有通过正则表达式来爬取不同的网址，直接写死4个网址来让不同的线程爬取

MultiThreadQueryUtil2

@Service
public class MultiThreadQueryUtil2 {
   

    public static void main(String[] args) {
   
        List<List> multiCombineResult = getMultiCombineResult();
        System.out.println(multiCombineResult);
    }
    /**
     * 获取多线程结果并进行结果合并
     * @return
     */
    public static List<List> getMultiCombineResult() {
   

        //开始时间
        long start = System.currentTimeMillis();
        //返回结果
        List<List> result = new ArrayList<>();

        List<String> webs = new ArrayList<>();
        webs.add("https://taolitop.com/");
        webs.add("https://taolitop.com/jj.whtml");
        webs.add("https://taolitop.com/dzhrjsjykf.whtml");
        webs.