获取接口请求之后的cookie*(爬虫)

public String getCookie() {
        HttpURLConnection connection = null;
        try {
            URL url = new URL("https://**************login");
            connection = (HttpURLConnection) url.openConnection();
            connection.setUseCaches(true);
            connection.setRequestMethod("POST");
            connection.setInstanceFollowRedirects(true);
            connection.setConnectTimeout(3000);
            connection.setDoInput(true);
            connection.setDoOutput(true);
            PrintWriter printWriter = new PrintWriter(connection.getOutputStream());
            printWriter.write("{'userName':'******','password':'*********'}");
            printWriter.flush();
            BufferedInputStream bis = new BufferedInputStream(connection.getInputStream());
            ByteArrayOutputStream bos = new ByteArrayOutputStream();
            int len;
            byte[] arr = new byte[1024];
            while((len=bis.read(arr))!= -1){
                bos.write(arr,0,len);
                bos.flush();
            }
            String cookiesHeader = connection.getHeaderField("Set-Cookie");
            bos.close();
            return cookiesHeader;
        } catch (Exception e) {
            e.printStackTrace();
        }finally{
               connection.disconnect();
        }
        return null;
    }

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
要使用WebMagic获取网站的动态Cookie,你可以按照以下步骤进行操作: 1. 首先,创建一个新的Java项目,并添加WebMagic的依赖。你可以在pom.xml文件中添加以下依赖项: ```xml <dependency> <groupId>us.codecraft</groupId> <artifactId>webmagic-core</artifactId> <version>0.7.3</version> </dependency> ``` 2. 创建一个新的Spider对象,并设置需要爬取的网址: ```java Spider spider = Spider.create(); // 设置需要爬取的网址 spider.addUrl("http://example.com"); ``` 3. 在Spider对象上注册一个Downloader,并自定义Downloader的实现,用于处理动态Cookie。 ```java // 创建自定义的Downloader Downloader downloader = new MyDownloader(); // 注册Downloader到Spider对象上 spider.setDownloader(downloader); ``` 4. 自定义Downloader类,实现PageDownloader接口,并重写其中的方法。在这个类中,你可以使用一些工具(如HttpClient、Selenium等)来模拟浏览器行为,获取动态Cookie。 ```java public class MyDownloader implements PageDownloader { @Override public Page download(Request request, Task task) { // 使用工具获取动态Cookie String dynamicCookie = getDynamicCookie(); // 创建Page对象并返回 Page page = new Page(); page.setRawText("Response HTML"); page.setUrl(new PlainText(request.getUrl())); page.setStatusCode(200); page.setCookies(new HashMap<String, String>() {{ put("dynamic_cookie", dynamicCookie); }}); return page; } // 自定义方法,获取动态Cookie private String getDynamicCookie() { // 使用工具获取动态Cookie的逻辑 return "dynamic_cookie_value"; } } ``` 5. 运行Spider对象来启动爬虫,并处理返回的页面数据。 ```java spider.run(); ``` 在自定义的Downloader中,你可以使用不同的方法来获取动态Cookie,如使用HttpClient发送HTTP请求,或使用Selenium模拟浏览器行为等。根据具体的需求和网站特点,选择合适的方法来实现动态Cookie获取

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值