Java多线程爬虫_3个线程_无锁

已于 2022-03-06 17:11:26 修改
阅读量162 收藏
点赞数
文章标签： java 开发语言 后端
于 2021-03-10 17:09:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37430469/article/details/114640476
版权 
import org.apache.commons.io.IOUtils;
import org.apache.http.HttpEntity;
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import java.io.File;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.util.ArrayList;
import java.util.List;
import java.util.UUID;
import java.util.concurrent.Callable;
import java.util.concurrent.FutureTask;

/**
 * @author jyy.gbj
 * @title: School
 * @projectName jyy-yiqiniu-plateform
 * @description: TODO
 * @date 2021/3/6
 */

public class School {
    public static void main1(String[] args){
        try {

            for (int i = 0; i < 107; i++) {
                String url = "http://college.gaokao.com/schlist/p" + i + "/";
                Document document = Jsoup.connect(url).get();
                Elements dl1 = document.select("dl>dt>a");//.select("dl").select("dt");

                File file = new File("D:/jsoupimg/uuidName.txt");

                for (Element element2 : dl1) {
                    String href = element2.select("a[href]").attr("href");
                    Document doc = Jsoup.connect(href).get();
                    Elements college_msg = doc.getElementsByClass("college_msg");
                    for (Element element3 : college_msg) {
                        String imgs = element3.getElementsByClass("left").select("img[src]").attr("src");
                        CloseableHttpClient httpClient = HttpClients.createDefault();
                        HttpGet httpGet = new HttpGet(imgs);
                        CloseableHttpResponse httpResponse = httpClient.execute(httpGet);
                        HttpEntity entity = httpResponse.getEntity();
                        InputStream is = entity.getContent();

                        String imgName = "schoolImg"+UUID.randomUUID().toString().replaceAll("-", "") + imgs.substring(imgs.lastIndexOf("."));
                        //String uuid = UUID.randomUUID().toString().replaceAll("-", "")+imgs.substring(imgs.lastIndexOf("."));

                        System.out.println(imgName);

                        FileOutputStream out1 = new FileOutputStream("D:/jsoupimg/jsoupSchoolName/" + imgName);
                        FileOutputStream out = new FileOutputStream(file);

                        out.write(imgName.getBytes());
                        //IOUtils.copy(is, out);
                        IOUtils.copy(is, out1);
                        is.close();
                        out1.close();
                    }
                }
            }




        } catch (IOException e) {
            e.printStackTrace();
        }


    }

    public static void main(String[] args) {

        //多线程爬虫1
        Callable<List<Elements>> infocallable1 = new Callable<List<Elements>>() {
            public List<Elements> call() throws Exception {

                List<Elements> element = new ArrayList<>();

                //1,学校1
                try {

                    String s = "http://www.51meishu.com/artexam/news/";
                    Document document = Jsoup.connect(s).get();
                    Elements listright_ = document.getElementsByClass("listright");
                    for (Element element1 : listright_) {
                        Elements select = element1.getElementsByTag("ul").select("li");
                        element.add(select);
                    }

                } catch (IOException e) {
                    e.printStackTrace();
                }


                //1,学校1
                try {

                    String s = "http://www.51meishu.com/artexam/news/";
                    Document document = Jsoup.connect(s).get();
                    Elements listright_ = document.getElementsByClass("listright");
                    for (Element element1 : listright_) {
                        Elements select = element1.getElementsByTag("ul").select("li");
                        element.add(select);
                    }

                } catch (IOException e) {
                    e.printStackTrace();
                }

                //1,学校1
                try {

                    String s = "http://www.51meishu.com/artexam/news/";
                    Document document = Jsoup.connect(s).get();
                    Elements listright_ = document.getElementsByClass("listright");
                    for (Element element1 : listright_) {
                        Elements select = element1.getElementsByTag("ul").select("li");
                        element.add(select);
                    }

                } catch (IOException e) {
                    e.printStackTrace();
                }

                //1,学校1
                try {

                    String s = "http://www.51meishu.com/artexam/news/";
                    Document document = Jsoup.connect(s).get();
                    Elements listright_ = document.getElementsByClass("listright");
                    for (Element element1 : listright_) {
                        Elements select = element1.getElementsByTag("ul").select("li");
                        element.add(select);
                    }

                } catch (IOException e) {
                    e.printStackTrace();
                }


                return element;
            }
        };

        //多线程爬虫1
        Callable<List<Elements>> infocallable2 = new Callable<List<Elements>>() {
            public List<Elements> call() throws Exception {

                List<Elements> element = new ArrayList<>();

                //1,学校1
                try {

                    String s = "http://www.51meishu.com/artexam/news/";
                    Document document = Jsoup.connect(s).get();
                    Elements listright_ = document.getElementsByClass("listright");
                    for (Element element1 : listright_) {
                        Elements select = element1.getElementsByTag("ul").select("li");
                        element.add(select);
                    }

                } catch (IOException e) {
                    e.printStackTrace();
                }


                //1,学校1
                try {

                    String s = "http://www.51meishu.com/artexam/news/";
                    Document document = Jsoup.connect(s).get();
                    Elements listright_ = document.getElementsByClass("listright");
                    for (Element element1 : listright_) {
                        Elements select = element1.getElementsByTag("ul").select("li");
                        element.add(select);
                    }

                } catch (IOException e) {
                    e.printStackTrace();
                }

                //1,学校1
                try {

                    String s = "http://www.51meishu.com/artexam/news/";
                    Document document = Jsoup.connect(s).get();
                    Elements listright_ = document.getElementsByClass("listright");
                    for (Element element1 : listright_) {
                        Elements select = element1.getElementsByTag("ul").select("li");
                        element.add(select);
                    }

                } catch (IOException e) {
                    e.printStackTrace();
                }

                //1,学校1
                try {

                    String s = "http://www.51meishu.com/artexam/news/";
                    Document document = Jsoup.connect(s).get();
                    Elements listright_ = document.getElementsByClass("listright");
                    for (Element element1 : listright_) {
                        Elements select = element1.getElementsByTag("ul").select("li");
                        element.add(select);
                    }

                } catch (IOException e) {
                    e.printStackTrace();
                }


                return element;
            }
        };

        //多线程爬虫1
        Callable<List<Elements>> infocallable3 = new Callable<List<Elements>>() {
            public List<Elements> call() throws Exception {

                List<Elements> element = new ArrayList<>();

                //1,学校1
                try {

                    String s = "http://www.51meishu.com/artexam/news/";
                    Document document = Jsoup.connect(s).get();
                    Elements listright_ = document.getElementsByClass("listright");
                    for (Element element1 : listright_) {
                        Elements select = element1.getElementsByTag("ul").select("li");
                        element.add(select);
                    }

                } catch (IOException e) {
                    e.printStackTrace();
                }


                //1,学校1
                try {

                    String s = "http://www.51meishu.com/artexam/news/";
                    Document document = Jsoup.connect(s).get();
                    Elements listright_ = document.getElementsByClass("listright");
                    for (Element element1 : listright_) {
                        Elements select = element1.getElementsByTag("ul").select("li");
                        element.add(select);
                    }

                } catch (IOException e) {
                    e.printStackTrace();
                }

                //1,学校1
                try {

                    String s = "http://www.51meishu.com/artexam/news/";
                    Document document = Jsoup.connect(s).get();
                    Elements listright_ = document.getElementsByClass("listright");
                    for (Element element1 : listright_) {
                        Elements select = element1.getElementsByTag("ul").select("li");
                        element.add(select);
                    }

                } catch (IOException e) {
                    e.printStackTrace();
                }

                //1,学校1
                try {

                    String s = "http://www.51meishu.com/artexam/news/";
                    Document document = Jsoup.connect(s).get();
                    Elements listright_ = document.getElementsByClass("listright");
                    for (Element element1 : listright_) {
                        Elements select = element1.getElementsByTag("ul").select("li");
                        element.add(select);
                    }

                } catch (IOException e) {
                    e.printStackTrace();
                }


                return element;
            }
        };


        FutureTask<List<Elements>> info1 = new FutureTask<>(infocallable1);
        FutureTask<List<Elements>> info2 = new FutureTask<>(infocallable2);
        FutureTask<List<Elements>> info3 = new FutureTask<>(infocallable3);

        new Thread(info1).start();
        new Thread(info2).start();
        new Thread(info3).start();

        try {
            List<Elements> integer1 = info1.get();
            List<Elements> integer2 = info2.get();
            List<Elements> integer3 = info2.get();

            System.out.println(integer1);
            System.out.println(integer2);
            System.out.println(integer3);

        } catch (Exception e) {
            e.printStackTrace();
        }

    }

}

1,批量爬取加图片下载
2,这里采用的是多线程爬虫案例,没有进行加锁,
后续优化加锁防阻塞爬取
加锁:

https://blog.csdn.net/u010963948/article/details/79027561
编程小黑马
关注
Java并发编程实战_盖兹
sup_bkht的博客
04-01 6607
文章目录第一部分 基础知识第1章 简介1.1 并发简史1.2 线程的优势1.3 线程带来的风险1.4 线程无处不在(框架线程或类线程并发注意点)第2章 线程安全性2.1 什么是线程安全性2.2 原子性2.3 加锁机制内置锁：Synchronized关键字可重入锁：获取锁的操作粒度是“线程”而不是调用用锁来保护状态活跃性与性能性第3章 对象的共享3.1 可见性3.2 发布与逸出3.3 线程封闭3.4 对象的不变性3.5 安全发布第4章 对象的组合4.1 设计线程安全的类4.2 实例封闭4.3 线程安全性委托4
多线程复习
qq_31649521的博客
01-28 151
多线程复习
非常实用的 java 多线程 网络 爬虫 (非常适合正学习网络爬虫的初学者)
12-22
java 多线程 网络 爬虫。 这是本人当初为了爬nips上700来篇文章，基于别人的java爬虫例子写得一个java 多线程的网络爬虫，其中涉及java网络、多线程、正则表达式等相关知识，可以方便要学习网络爬虫的初学者，我相信应该是有帮助的，而且实际可以测试可用。 积分50分可能给的稍微有点高吧，主要这个本人是花了时间写的，同时nips爬文件也确实可以用，另外，本人比较穷，想赚点积分，不好意思，谢谢各位啦
Java 爬虫多线程
无
05-03 4363
java爬虫去重_Java 多线程爬虫及分布式爬虫架构探索
weixin_31557179的博客
02-13 265
这是 Java 爬虫系列博文的第五篇，在上一篇 Java 爬虫服务器被屏蔽，不要慌，咱们换一台服务器 中，我们简单的聊反爬虫策略和反反爬虫方法，主要针对的是 IP 被封及其对应办法。前面几篇文章我们把爬虫相关的基本知识都讲的差不多啦。这一篇我们来聊一聊爬虫架构相关的内容。前面几章内容我们的爬虫程序都是单线程，在我们调试爬虫程序的时候，单线程爬虫没什么问题，但是当我们在线上环境使用单线程爬虫程序去采...
Java 多线程爬虫
最新发布
weixin_43626356的博客
11-18 1076
Java 多线程爬虫
java多线程爬虫_利用JAVA实现一个多线程爬虫
weixin_39624816的博客
02-12 388
利用JAVA实现一个多线程爬虫发布时间：2020-11-17 16:45:18来源：亿速云阅读：83作者：Leah利用JAVA实现一个多线程爬虫？很多新手对此不是很清楚，为了帮助大家解决这个难题，下面小编将为大家详细讲解，有这方面需求的人可以来学习下，希望你能有所收获。JAVA 多线程爬虫实例详解前言以前喜欢Python的爬虫是出于他的简洁，但到了后期需要更快，更大规模的爬虫的时候，我才渐渐意识到...
Java多线程编程实战：并发编程的艺术与挑战，提升代码效率
Java多线程编程是一种并发编程范式，它允许应用程序同时执行多个任务。它通过创建和管理多个线程来实现，每个线程代表一个独立的执行流。多线程编程对于充分利用现代计算机的多核架构至关重要，可以提高应用程序的...
深入理解Java中的多线程和异步任务
多线程是指在一个程序中同时运行多个线程，每个线程都是独立的执行流。异步任务则是指程序能够继续向下执行，而不需要等待某个操作的结果返回。 ## 1.2 多线程和异步任务的重要性 多线程和异步任务的出现解决了...
多线程编程：理解多线程编程的基本概念和使用方法
多线程编程是指在一个程序中同时执行多个线程，每个线程负责完成各自的任务。线程是操作系统中最小的执行单位，一个线程可以看作是一个独立的执行流，每个线程都有自己的栈、程序计数器和局部变量，但共享同一份全局...
简单爬虫 Java实现 多线程
06-13
Java 爬虫 spider crawder web
Java多线程爬取网页
09-27
适合：简单地获取纯文字网页的内容。需要创建子线程or修改爬取网页请在testpc.java中修改，webpc用于获取指定网页内容，runthread用于创建子线程爬虫，testpc则是主线程，用于管理子线程的创建、运行与等待。
RexCrawler:一个极简的 Java 多线程爬虫 API
06-15
雷克斯爬行者 一个用于 Java 的简约多线程爬虫 API。 分散其简约的结构，此爬虫基于 Java ForkJoin 框架，该框架允许 RexCrawler 通过将其本地工作负载分区来按需创建其他守护进程。 这种方法的一个关键好处是更好地控制粒度和更少的同步。 入门 关于如何使用 RexCrawler 的简要概述。 它非常简单，您可以跳转到并使用javadoc -d doc/ -protected -sourcepath src/ org.rexcrawler生成 Javadoc 定义处理程序 处理程序（扩展CrawlerHandler的类）允许您控制搜索流程。 特别是您从各种 HTTP 响应中收集的内容以及将提交哪些 URL 以继续搜索。 为了解析字符串，提供了一个简单的。 CrawlerHandler 的最简单实现如下所示： public class MyHandler
java多线程爬虫实例
海海人生
05-01 425
很早就知道爬虫的原理，但是一直没有去实现过，今天写起来还真遇到很多困难，尤其是多线程同步的问题。还是自己对多线程不熟，没有大量实践过的原因。 先上我做的结果吧： 开始爬虫......................................... 当前有1个线程在等待 当前有2个线程在等待 当前有3个线程在等待 当前有4个线程在等待 当前有5个线程在等待 ..............
java多线程爬虫设计
积极向上的老王诩
05-31 518
基本架构 需求来源 爬取徽州建筑的图片，后期用于徽州建筑图片的分类处理。 调度机制 解析机器定时向调度器发送消息，告诉调度器自己当前处理了多少任务，调度器根据解析器处理的任务数，向解析器的队列发送对应量的url数据。整个大环境下，调度器与解析器形成生产者消费者队列；小环境下，解析器自己有生产者阻塞队列，消费者线程池。 好处：根据不同机器当前处理任务的能力去分发任务。 缺点：sock...
关于JAVA的多线程爬虫
qq_30843221的博客
09-09 1999
前言以前喜欢python的爬虫是出于他的简洁，但到了后期需要更快，更大规模的爬虫的时候，我才渐渐意识到java的强大。Java有一个很好的机制，就是多线程。而且Java的代码效率执行起来要比python快很多。这份博客主要用于记录我对多线程爬虫的实践理解。线程线程是指一个任务从头至尾的执行流。线程提供了运行一个任务的机制。对于Java而言，可以在一个程序中并发地启动多个线程。这些线程可以在多处理器系
Java多线程爬虫实现
chusaiou2655的博客
10-02 727
一、需求 1.定时抓取固定网站新闻标题、内容、发表时间和来源。 2.程序需要支持分布式、多线程 二、设计 1.网站是固定，但是未来也可能添加新的网站去抓取，每个网站内容节点设计都不一样，这样就需要支持动态可配置来新增网站以方便未来的扩展...
java多线程爬虫的实现_用多线程实现的Java爬虫程序
weixin_29528865的博客
02-16 248
以下是一个Java爬虫程序，它能从指定主页开始，按照指定的深度抓取该站点域名下的网页并维护简单索引。参数：private static int webDepth = 2;//爬虫深度。主页的深度为1，设置深度后超过该深度的网页不会抓取。private int intThreadNum = 10;//线程数。开启的线程数。抓取时也会在程序源文件目录下生成一个report.txt文件记录爬虫的运行情况...
Java多线程爬虫实战解析与线程池应用
在上述的Java多线程爬虫实例中，可能会有一个名为MyThreading的类，该类接收商品ID（p_id）并创建一个URL列表。类中可能有一个静态变量urls用于存储URL列表，并且可能会有一个线程池（ExecutorService）来并发地处理...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值