爬虫绕过“登录页面”

        当我们在写爬虫的时候，往往会遇到很多反爬的问题。

        比如：在登录页面设置验证码、扫描二维码登录、滑动鼠标登录、手机短信验证码登录等等。这里介绍一种个人已经实现的方法——绕过登录页面。这里的绕过不是说真的可以绕过登录，除非这个系统本来就有问题，这是这个系统天大的bug。这里说的绕过登录是指登录一次记住cookie信息，下次登录的时候就直接跳过了登录的页面。废话不多说，直接上代码：

package com.xiaojiang.spidertest;

import java.io.ByteArrayInputStream;
import java.io.ByteArrayOutputStream;
import java.io.IOException;
import java.net.HttpCookie;
import java.util.zip.GZIPInputStream;

import org.apache.commons.io.IOUtils;
import org.apache.http.Header;
import org.apache.http.HttpResponse;
import org.apache.http.client.ClientProtocolException;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.DefaultHttpClient;
import org.apache.http.message.BasicHeader;
import org.apache.http.util.EntityUtils;
import org.jsoup.Jsoup;
imp