jsoup爬取有登录信息网站

import java.io.IOException;
import java.text.MessageFormat;
import java.text.SimpleDateFormat;
import java.util.HashMap;
import java.util.Map;

import org.jsoup.Connection;
import org.jsoup.Connection.Method;
import org.jsoup.Connection.Response;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;

import com.alibaba.fastjson.JSON;
import com.alibaba.fastjson.TypeReference;

public class JsoupUtil {
    private static final String username = "test";
    private static final String password = "aaaaaa";
    private static final String baseUrl = "http://www.test.com/";
    private static final String cookieUrl = baseUrl;
    private static final String loginUrl = baseUrl + "login";
    private static final String listUrl = baseUrl+"list";
    private static final String infoUrl = baseUrl+"detail?id={0}&name={1}";

    public static final Map<String, String> initCookies() {
        try {
            Connection conn = Jsoup.connect(cookieUrl);
            conn.method(Method.GET);
            conn.followRedirects(false);
            return conn.execute().cookies();
        } catch (Exception e) {
            return null;
        }
    }

    public static int login(Map<String, String> cookies)  {

 try {
        Connection conn = Jsoup.connect(loginUrl);
        initHeader(conn);
        conn.cookies(cookies);
        conn.method(Method.POST);
        conn.followRedirects(false);
        conn.ignoreContentType(true);
        conn.data("name", username);
        conn.data("pwd", password);
        Response response = conn.execute();
        return response.statusCode();

  } catch (Exception e) {
            return null;
        }
    }

    private static final void initHeader(Connection conn) {
        conn.header("Host", host);
        conn.header("Connection", "keep-alive");
        conn.header("Cache-Control", "max-age=0");
        conn.header("Upgrade-Insecure-Requests", "1");
        conn.header("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36");
        conn.header("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8");
        conn.header("Accept-Language", "zh-CN,zh;q=0.8");
    }
    /**
     * 列表信息
     */
    public static Response list(Map<String, String> cookies) throws IOException {
        Connection conn = Jsoup.connect(listUrl);
        initHeader(conn);
        conn.method(Method.POST);
        conn.cookies(cookies);
        Map<String, String> datas = new HashMap<String, String>();
        datas.put("createdate", "desc");
        conn.data(datas);
        conn.timeout(120000);
        return conn.execute();
    }
    /**
     * 详细信息
    */
    public static Response detail(Map<String, String> cookies, String id)
            throws IOException {
        Connection conn = Jsoup.connect(infoUrl );
        initHeader(conn);
        conn.cookies(cookies);
        conn.method(Method.GET);
        conn.timeout(120000);
        return conn.execute();
    }


    public static void main(String[] args) throws Exception {
            Map<String, String> cookies = null;
            cookies = initCookies(); 
            int status = login(cookies);
           Response resp = list(cookies,);
            String body = resp.body();   
    }
}

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值