java time out_Java Connection.timeout方法代码示例

该代码段展示了如何使用Jsoup库进行HTTP请求并解析HTML文档。通过设置User-Agent、请求参数、cookies以及选择不同的解析方式(选择器、ID、class或标签名),该方法能够灵活地抓取和过滤网页元素。如果请求方式为POST,则发送POST请求,否则发送GET请求。
摘要由CSDN通过智能技术生成

import org.jsoup.Connection; //导入方法依赖的package包/类

/**

* 按照规则,加载解析html

* @param url:加载URL

* @param paramMap:请求参数

* @param cookieMap:请求cookie

* @param ifPost:是否使用post请求

* @param tagMap:解析规则[0-选择器方式、1-id方式、2-class方式、3-tag]

* @return

*/

public static Elements loadParse(String url, Map paramMap, Map cookieMap,

boolean ifPost, Map> tagMap) {

if (!isUrl(url)) {

return null;

}

try {

// 请求设置

Connection conn = Jsoup.connect(url);

conn.userAgent("Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.63 Safari/537.36");

if (paramMap != null && !paramMap.isEmpty()) {

conn.data(paramMap);

}

if (cookieMap != null && !cookieMap.isEmpty()) {

conn.cookies(cookieMap);

}

conn.timeout(5000);

// 发出请求

Document html = null;

if (ifPost) {

html = conn.post();

} else {

html = conn.get();

}

// 过滤元素

Elements resultAll = new Elements();

if (tagMap != null && !tagMap.isEmpty()) {

for (Entry> tag : tagMap.entrySet()) {

int tagType = tag.getKey();

Set tagNameList = tag.getValue();

if (tagNameList != null && tagNameList.size() > 0) {

for (String tagName : tagNameList) {

if (tagType == 0) {

Elements resultSelect = html.select(tagName);// 选择器方式

resultAll.addAll(resultSelect);

} else if (tagType == 1) {

Element resultId = html.getElementById(tagName);// 元素ID方式

resultAll.add(resultId);

} else if (tagType == 2) {

Elements resultClass = html.getElementsByClass(tagName);// ClassName方式

resultAll.addAll(resultClass);

} else if (tagType == 3) {

Elements resultTag = html.getElementsByTag(tagName);// html标签方式

resultAll.addAll(resultTag);

}

}

}

}

} else {

resultAll = html.getElementsByTag("body");

}

return resultAll;

} catch (IOException e) {

logger.error("", e);

}

return null;

}

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值