使用Jsoup加代理发送get请求

public static String get(String uri){


	                System.setProperty("https.proxySet", "true");
			System.getProperties().put("https.proxyHost", ip);
			System.getProperties().put("https.proxyPort", port);


		Document doc = null;
		String  agent="Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko)"
				+ "  Chrome/56.0.2924.87 Safari/537.36" ;
		try {
			doc = Jsoup.connect(uri).ignoreContentType(true)
					.userAgent(agent)
					// ignoreHttpErrors 
					//这个很重要 否则会报HTTP error fetching URL. Status=404
					.ignoreHttpErrors(true)  //这个很重要
					.timeout(3000).get();
		} catch (IOException e) {
			System.out.println(e.getMessage()+"  **************** get");
		}
		if (doc!=null) {
			return doc.body().text();
		}
		return null;
}

  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值