使用HttpURLConnection抓网页代码示例

前几日受人之托,写了一个抓网页代码的小例子,通过一个JSP页面抓取某网站页面的HTML内容。

代码如下:

<%@ page language="java" contentType="text/html; charset=utf-8"
	pageEncoding="utf-8" import="java.util.*,java.io.*,java.net.*"%>
<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd">
<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<title>抓取页面</title>
</head>
<body>
	<%
		String inputLine = "";
		String urlvalue = "https://www.baidu.com";
		try {
			URL url = new URL(urlvalue);

			URLConnection rulConnection = url.openConnection();
			HttpURLConnection httpUrlConnection = (HttpURLConnection) rulConnection;
			httpUrlConnection.setRequestProperty("User-Agent",
					"Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)");
			httpUrlConnection.connect();

			BufferedReader in = new BufferedReader(
					new InputStreamReader(httpUrlConnection.getInputStream(), "UTF-8"));

			inputLine = in.readLine().toString();
		} catch (Exception e) {
			e.printStackTrace();
		}
	%>
<textarea style="height: 500px; width: 500px">
<%
	out.print(inputLine);
%>
</textarea>
</body>
</html>



  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值