多线程异步返回值

已于 2022-03-06 17:02:10 修改
阅读量107 收藏
点赞数
文章标签： apache java 开发语言
于 2022-02-08 18:40:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37430469/article/details/122829293
版权 
package com.zg.controller;

import com.zg.jsoup.JsoupList;
import org.apache.http.HttpEntity;
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.tomcat.util.http.fileupload.IOUtils;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import java.io.File;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.util.ArrayList;
import java.util.List;
import java.util.UUID;
import java.util.concurrent.Callable;
import java.util.concurrent.FutureTask;
public class ZgJsoupDemo {

    public static void main1(String[] args){
        try {

            for (int i = 0; i < 107; i++) {
                String url = "http://college.gaokao.com/schlist/p" + i + "/";
                Document document = Jsoup.connect(url).get();
                Elements dl1 = document.select("dl>dt>a");//.select("dl").select("dt");

                File file = new File("D:/jsoupimg/uuidName.txt");

                for (Element element2 : dl1) {
                    String href = element2.select("a[href]").attr("href");
                    Document doc = Jsoup.connect(href).get();
                    Elements college_msg = doc.getElementsByClass("college_msg");
                    for (Element element3 : college_msg) {
                        String imgs = element3.getElementsByClass("left").select("img[src]").attr("src");
                        CloseableHttpClient httpClient = HttpClients.createDefault();
                        HttpGet httpGet = new HttpGet(imgs);
                        CloseableHttpResponse httpResponse = httpClient.execute(httpGet);
                        HttpEntity entity = httpResponse.getEntity();
                        InputStream is = entity.getContent();

                        String imgName = "schoolImg"+UUID.randomUUID().toString().replaceAll("-", "") + imgs.substring(imgs.lastIndexOf("."));
                        //String uuid = UUID.randomUUID().toString().replaceAll("-", "")+imgs.substring(imgs.lastIndexOf("."));

                        System.out.println(imgName);

                        FileOutputStream out1 = new FileOutputStream("D:/jsoupimg/jsoupSchoolName/" + imgName);
                        FileOutputStream out = new FileOutputStream(file);

                        out.write(imgName.getBytes());
                        //IOUtils.copy(is, out);
                        IOUtils.copy(is, out1);
                        is.close();
                        out1.close();
                    }
                }
            }




        } catch (IOException e) {
            e.printStackTrace();
        }


    }

    public static void main2(String[] args) {

        List<JsoupList> jsoupLists = new ArrayList<>();
        String http = "https://www.amazon.com/s?k=cigarette&__mk_zh_CN=%E4%BA%9A%E9%A9%AC%E9%80%8A%E7%BD%91%E7%AB%99&ref=nb_sb_noss_1";
        try {

            Document document = Jsoup.connect(http).get();

            Elements elementsByClass = document.getElementsByClass("s-main-slot");
            File file = new File("E:/jsoupimg/uuidName.txt");
            for (Element byClass : elementsByClass) {
                Elements elementsByClass1 = byClass.getElementsByClass("sg-col-4-of-12");
                for (Element element : elementsByClass1) {
                    Elements elementsByClass2 = element.getElementsByClass("a-spacing-medium");

                    //新建对象存储爬取的数据

                    //第一层获取image
                    for (Element element1 : elementsByClass2) {
                        Elements elementsByClass3 = element1.getElementsByClass("s-image-square-aspect");
                        for (Element element2 : elementsByClass3) {
//                            Elements img = element2.getElementsByTag("img");
//                            String src = img.attr("src").trim();
//                            //System.out.println(img); //拿到封面图
//                            CloseableHttpClient httpClient = HttpClients.createDefault();
//                            HttpGet httpGet = new HttpGet(src);
//                            CloseableHttpResponse httpResponse = httpClient.execute(httpGet);
//                            HttpEntity entity = httpResponse.getEntity();
//                            InputStream is = entity.getContent();
//                            String imgName = ""+UUID.randomUUID().toString().replaceAll("-", "") + src.substring(src.lastIndexOf("."));
//                            try {
//                                Thread.sleep(1000);
//                            } catch (InterruptedException e) {
//                                e.printStackTrace();
//                            }
//                            FileOutputStream out1 = new FileOutputStream("E:/jsoupimg/jsoupName/" + imgName);
//                            FileOutputStream out = new FileOutputStream(file);
//
//                            out.write(imgName.getBytes());
//                            //IOUtils.copy(is, out);
//                            IOUtils.copy(is, out1);
//                            is.close();
//                            out1.close();

                        }
                    }


                    //第二层第一子层,描述层
                    for (Element element1 : elementsByClass2) {
                        JsoupList jsoupList = new JsoupList();

                        String img = element1.getElementsByTag("img").attr("src").trim();
                        //System.out.println(img);
                        jsoupList.setImage(img);

                        Elements elementsByClass3 = element1.getElementsByClass("a-size-base-plus");
                        //System.out.println(elementsByClass3.text()); //拿到描述
                        jsoupList.setTitle(elementsByClass3.text());

                        Elements elementsByClass4 = element1.getElementsByClass("a-color-information");
                        //System.out.println(elementsByClass4.text()); //这个是部分有 Pack of


                        Elements elementsByClass5 = element1.getElementsByClass("a-icon-alt");
                        //System.out.println(elementsByClass5.text()); //部分无评分 拿到评分

                        Elements elementsByClass6 = element1.getElementsByClass("a-offscreen");
                        //System.out.println(elementsByClass6.text()); //拿到商品的价格 price 美元
                        jsoupList.setPrice(elementsByClass6.text());

                        Elements elementsByClass7 = element1.getElementsByClass("s-align-children-center");
                        //Element span = element1.getElementsByTag("span").last();

//                        for (Element element2 : elementsByClass7) {
//                            String span = element2.getElementsByTag("span").text();
//                            System.out.println(span);  //发往中国
//                        }

                        System.out.println("----------------------------------------------------------------------------");
                        jsoupLists.add(jsoupList);
                    }


                }
            }

        } catch (IOException e) {
            e.printStackTrace();
        }


//        //多线程爬虫1
//        Callable<List<Elements>> infocallable1 = new Callable<List<Elements>>() {
//            public List<Elements> call() throws Exception {
//
//                List<Elements> element = new ArrayList<>();
//
//                //1,学校1
//                try {
//
//                    String s = "http://www.51meishu.com/artexam/news/";
//                    Document document = Jsoup.connect(s).get();
//                    Elements listright_ = document.getElementsByClass("listright");
//                    for (Element element1 : listright_) {
//                        Elements select = element1.getElementsByTag("ul").select("li");
//                        element.add(select);
//                    }
//
//                } catch (IOException e) {
//                    e.printStackTrace();
//                }
//
//
//                //1,学校1
//                try {
//
//                    String s = "http://www.51meishu.com/artexam/news/";
//                    Document document = Jsoup.connect(s).get();
//                    Elements listright_ = document.getElementsByClass("listright");
//                    for (Element element1 : listright_) {
//                        Elements select = element1.getElementsByTag("ul").select("li");
//                        element.add(select);
//                    }
//
//                } catch (IOException e) {
//                    e.printStackTrace();
//                }
//
//                //1,学校1
//                try {
//
//                    String s = "http://www.51meishu.com/artexam/news/";
//                    Document document = Jsoup.connect(s).get();
//                    Elements listright_ = document.getElementsByClass("listright");
//                    for (Element element1 : listright_) {
//                        Elements select = element1.getElementsByTag("ul").select("li");
//                        element.add(select);
//                    }
//
//                } catch (IOException e) {
//                    e.printStackTrace();
//                }
//
//                //1,学校1
//                try {
//
//                    String s = "http://www.51meishu.com/artexam/news/";
//                    Document document = Jsoup.connect(s).get();
//                    Elements listright_ = document.getElementsByClass("listright");
//                    for (Element element1 : listright_) {
//                        Elements select = element1.getElementsByTag("ul").select("li");
//                        element.add(select);
//                    }
//
//                } catch (IOException e) {
//                    e.printStackTrace();
//                }
//
//
//                return element;
//            }
//        };
//
//        //多线程爬虫1
//        Callable<List<Elements>> infocallable2 = new Callable<List<Elements>>() {
//            public List<Elements> call() throws Exception {
//
//                List<Elements> element = new ArrayList<>();
//
//                //1,学校1
//                try {
//
//                    String s = "http://www.51meishu.com/artexam/news/";
//                    Document document = Jsoup.connect(s).get();
//                    Elements listright_ = document.getElementsByClass("listright");
//                    for (Element element1 : listright_) {
//                        Elements select = element1.getElementsByTag("ul").select("li");
//                        element.add(select);
//                    }
//
//                } catch (IOException e) {
//                    e.printStackTrace();
//                }
//
//
//                //1,学校1
//                try {
//
//                    String s = "http://www.51meishu.com/artexam/news/";
//                    Document document = Jsoup.connect(s).get();
//                    Elements listright_ = document.getElementsByClass("listright");
//                    for (Element element1 : listright_) {
//                        Elements select = element1.getElementsByTag("ul").select("li");
//                        element.add(select);
//                    }
//
//                } catch (IOException e) {
//                    e.printStackTrace();
//                }
//
//                //1,学校1
//                try {
//
//                    String s = "http://www.51meishu.com/artexam/news/";
//                    Document document = Jsoup.connect(s).get();
//                    Elements listright_ = document.getElementsByClass("listright");
//                    for (Element element1 : listright_) {
//                        Elements select = element1.getElementsByTag("ul").select("li");
//                        element.add(select);
//                    }
//
//                } catch (IOException e) {
//                    e.printStackTrace();
//                }
//
//                //1,学校1
//                try {
//
//                    String s = "http://www.51meishu.com/artexam/news/";
//                    Document document = Jsoup.connect(s).get();
//                    Elements listright_ = document.getElementsByClass("listright");
//                    for (Element element1 : listright_) {
//                        Elements select = element1.getElementsByTag("ul").select("li");
//                        element.add(select);
//                    }
//
//                } catch (IOException e) {
//                    e.printStackTrace();
//                }
//
//
//                return element;
//            }
//        };
//
//        //多线程爬虫1
//        Callable<List<Elements>> infocallable3 = new Callable<List<Elements>>() {
//            public List<Elements> call() throws Exception {
//
//                List<Elements> element = new ArrayList<>();
//
//                //1,学校1
//                try {
//
//                    String s = "http://www.51meishu.com/artexam/news/";
//                    Document document = Jsoup.connect(s).get();
//                    Elements listright_ = document.getElementsByClass("listright");
//                    for (Element element1 : listright_) {
//                        Elements select = element1.getElementsByTag("ul").select("li");
//                        element.add(select);
//                    }
//
//                } catch (IOException e) {
//                    e.printStackTrace();
//                }
//
//
//                //1,学校1
//                try {
//
//                    String s = "http://www.51meishu.com/artexam/news/";
//                    Document document = Jsoup.connect(s).get();
//                    Elements listright_ = document.getElementsByClass("listright");
//                    for (Element element1 : listright_) {
//                        Elements select = element1.getElementsByTag("ul").select("li");
//                        element.add(select);
//                    }
//
//                } catch (IOException e) {
//                    e.printStackTrace();
//                }
//
//                //1,学校1
//                try {
//
//                    String s = "http://www.51meishu.com/artexam/news/";
//                    Document document = Jsoup.connect(s).get();
//                    Elements listright_ = document.getElementsByClass("listright");
//                    for (Element element1 : listright_) {
//                        Elements select = element1.getElementsByTag("ul").select("li");
//                        element.add(select);
//                    }
//
//                } catch (IOException e) {
//                    e.printStackTrace();
//                }
//
//                //1,学校1
//                try {
//
//                    String s = "http://www.51meishu.com/artexam/news/";
//                    Document document = Jsoup.connect(s).get();
//                    Elements listright_ = document.getElementsByClass("listright");
//                    for (Element element1 : listright_) {
//                        Elements select = element1.getElementsByTag("ul").select("li");
//                        element.add(select);
//                    }
//
//                } catch (IOException e) {
//                    e.printStackTrace();
//                }
//
//
//                return element;
//            }
//        };


//        FutureTask<List<Elements>> info1 = new FutureTask<>(infocallable1);
//        FutureTask<List<Elements>> info2 = new FutureTask<>(infocallable2);
//        FutureTask<List<Elements>> info3 = new FutureTask<>(infocallable3);
//
//        new Thread(info1).start();
//        new Thread(info2).start();
//        new Thread(info3).start();

//        try {
//            List<Elements> integer1 = info1.get();
//            List<Elements> integer2 = info2.get();
//            List<Elements> integer3 = info2.get();
//
//            System.out.println(integer1);
//            System.out.println(integer2);
//            System.out.println(integer3);
//
//        } catch (Exception e) {
//            e.printStackTrace();
//        }

    }

    public static void main8(String[] args) {

        String lt = "https://search.rakuten.co.jp/search/mall/Ploom+tech/?p=1";

        try {
            Document document = Jsoup.connect(lt).get();
            //Elements searchresults = document.getElementsByClass("searchresultitems");

            System.out.println(document);
            System.out.println("----------------------------------");
        } catch (Exception e) {
            e.printStackTrace();
        }


    }

    public static void main(String[] args) {

        String lt = "https://t.me/s/BandwagonHostNews";

        try {
            Document document = Jsoup.connect(lt).get();
            //Elements searchresults = document.getElementsByClass("searchresultitems");

            System.out.println(document);
            System.out.println("----------------------------------");
        } catch (Exception e) {
            e.printStackTrace();
        }
//   54.254.161.51:63894
    }


}
编程小黑马
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
异步调用的参数及返回值
10-25
异步调用的参数及返回值的处理 异步调用的参数及返回值的处理
说一下runnable 和 callable 有什么区别？Future是什么？
Java鱼仔的博客
10-26 2030
runnable和callable都可以用来编写多线程程序，区别在于是否有返回值
异步线程执行以及线程返回值的使用
最新发布
m0_67814200的博客
04-28 214
ThreadPoolTaskExecutor本身就是一个线程池 – 可自定义 – 可使用submit executor方法//ThreadPoolTaskExecutor 静态代码块来初始化一个线程池 也可以使用submit（有返回值） 和 execute方法static {//核心线程数//最大线程数//缓冲队列//允许线程的空闲时间//线程前缀//线程策略//其他方法中可使用这个线程池。
异步线程返回 UI 线程
weixin_30558305的博客
09-04 76
和 windows phone 不同,从异步线程返回到 UI 线程只需要调用 Dispatcher.BeginInvoke(delegate{...}); 方法， Windows 8 中微软更多的希望使用新关键字 async 和 await: // May be invoked on a background thread, so use the Dispatch...
异步线程返回结果@Async+Future+AsyncResult返回值
热门推荐
lisheng19870305的专栏
04-22 1万+
使用@Async方法有void和Future两种返回值 其中void前面demo中已经写过，本篇文档主要写Future。 借用举例 AsyncResult是异步方式，异步主要用于调用的代码需要长时间运行，才能返回结果的时候，可以不阻塞调用者。 打个比方，同步方式就是你打电话给客服，客服没法立刻解决，客服说你等等，别挂电话，然后等了10分钟，再告诉你。再挂电话。 此时电话费照收，并且你不能接打别人的电话。 异步方式就是，客服说，我先查查，查到了给你回电话，然后挂断。你干别的事情。等了10分钟，客服给你
多线程，异步消息处理机制简单解析
RandowWrite
05-30 2163
    当我们需要执行一些耗时操作，比如说发起一条网络请求时， 考虑到网速等其他原因，服务器未必会立刻响应我们的请求，如果不将这类操作方在子线程去运行，就会导致主线程被阻塞，从而影响用户对软件的正常使用。    比较简单的开启子线程的方法使用匿名内部类的方式：new Thread(new Runnable() { @Override public void run() { ...
Java多线程 实例解析
08-30
如果开发人员直接调用run方法，那么就会将这个方法当作一个普通函数来调用，并没有多开辟线程，开发人员如果希望多线程异步执行，则需要调用start方法。 sleep和wait方法的区别 sleep方法主要是，让线程暂停执行一...
C#用委托BeginInvoke做异步线程
12-31
然后通过EndInvoke方法获得方法的返回值（EndInvoke方法的返回值就是被调用方法的返回值），或是确定方法已经被成功调用，说白了就是相当于开个多线程，你用户文件保存了之后，响应返回，这个BeginInvoke异步去执行...
浅谈Java获得多线程的返回结果方式(3种)
08-19
主要介绍了浅谈Java获得多线程的返回结果方式，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
异步多线程调用IAsyncResult
05-18
异步方法执行,使用BeginInvoke (AsyncCallback委托对象) ,而不用返回值
Concurrent-MultiThread-Async：多线程的使用，concurrent包的使用，并发队列的时候，@ Async方法返回值的异步处理，
02-12
Concurrent-MultiThread-Async：多线程的使用，concurrent包的使用，并发队列的时候，@ Async方法返回值的异步处理，
JAVA多线程Future异步返回实现
chen_1129的博客
01-13 3956
Future基本知识不做介绍，主要是简单的实现方式 1.创建线程池 FixedThreadPool 与 CachedThreadPool 特性对比 特性 FixedThreadPool CachedThreadPool 重用 FixedThreadPool 与 CacheThreadPool差不多，也是能 reuse 就用，但不能随时建新的线程 缓存型池子，先查看...
多线程(带返回值)异步处理任务的一种思路
悲观是一种远见
01-16 1450
直接上Demo Code： import lombok.extern.slf4j.Slf4j; import java.util.concurrent.Callable; import java.util.concurrent.ExecutionException; import java.util.concurrent.FutureTask; /** * @Auther: li...
spring boot自定义线程池进行异步调用获取接口数据
Eli_Code
10-20 1847
spring boot自定义线程池进行异步调用 前两天刚感受了下泛型接口的in和out，昨天就开始感受神奇的异步方法Async/await，当然顺路也看了眼多线程那几个。其实多线程异步相关的类单个用法和理解都不算困难，但是异步方法Async/await这东西和Task搅到了一起就有点花花肠子。 我们需要异步调用的时候，很容易就想到多线程的方式，先创建线程池，然后实现 Runnable 或者 Callable 接口来创建对象，然后将对象放在线程池中去执行。除了这个，spring 提供了更简单粗暴的方式，这
使用多线程执行任务，并获取返回结果，附异步实现
delete_bug的博客
05-07 6693
多线程+异步让程序的效率更高
Java使用线程池异步处理并返回结果
qq_42900213的博客
08-17 1389
【代码】Java使用线程池异步处理并返回结果。
Java多线程系列--掌握Future，轻松获取异步任务结果
leobert.lan的博客
09-26 1242
连这些读不知道的话，面试肯定要挂了。 今天，我们一同回顾：多线程中并发和异步的基础中的基础，掌握了它们才有面试及格的可能。
并发编程之：异步调用获取返回值
小黑说Java
09-16 2792
大家好，我是小黑，一个在互联网苟且偷生的农民工。 Runnable 在创建线程时，可以通过new Thread(Runnable)方式，将任务代码封装在Runnable的run()方法中，将Runnable作为任务提交给Thread，或者使用线程池的execute(Runnable)方法处理。 public class RunnableDemo { public static void main(String[] args) { ExecutorService executorSer
如何判断异步线程的返回值
06-06
异步线程的返回值可以通过以下几种方式进行判断： ...4. 使用线程池：如果需要创建多个异步线程，可以使用线程池来管理这些线程。在提交任务时，可以获取一个 Future 对象，通过该对象来获取异步线程的返回值。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值