使用HTTPURLConnection模拟登陆，爬取网页内容

最新推荐文章于 2021-02-12 22:39:04 发布

__HelloWorld__

最新推荐文章于 2021-02-12 22:39:04 发布

阅读量1w

点赞数 1

分类专栏： Java 文章标签： Java HTTPURLConnection Fiddler 模拟登陆

本文链接：https://blog.csdn.net/kangkanglou/article/details/45895407

版权

本文介绍如何利用Java的HTTPURLConnection类模拟登陆，通过Fiddler抓取登录参数，设置Cookie来实现对需要登录才能访问的网页内容的爬取。重点在于理解和设置请求属性，以及处理中文编码问题。

摘要由CSDN通过智能技术生成

如果你需要爬取某些网页的内容，但这些网站需要登录，那就需要一些额外的步骤来由程序来完成这些登录并爬取我们需要的网页内容了，任意登录页面都是向服务器发送请求，如果我们能够模拟向服务器发送请求，那么自然登录也就不在话下，通过Fiddler抓取我们需要的一些信息，很轻松的就能模拟出向服务器发送的请求，下面我们可以使用HTTPURLConnection进行模拟登陆并爬取我们需要的网页内容。


import java.io.BufferedReader;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.io.OutputStreamWriter;
import java.net.HttpURLConnection;
import java.net.URL;
import java.util.List;
import java.util.Map.Entry;

public class INotesPost {

	public static void main(String[] args) throws Exception {
		String surl = "***?login";
		URL url = new URL(surl);
		HttpURLConnection connection = (HttpURLConnection) url.openConnection();

		connection.setDoOutput(true);
		connection.setDoInput(true);
		connection.setRequestMethod("POST");
		connection.setUseCaches(false);
		connection.setRequestProperty("Content-Type", "application/x-www-form-urlenco