利用JSP获取网页源文件并抓取其中的链接地址

最新推荐文章于 2021-02-17 03:02:35 发布

ncflywolf

最新推荐文章于 2021-02-17 03:02:35 发布

阅读量1.5k

点赞数

分类专栏： jsp 文章标签： jsp regex 正则表达式 string java import

jsp 专栏收录该内容

0 篇文章

订阅专栏

该博客介绍利用Java的net包获取网页源文件，再使用正则表达式抓取其中的链接地址。文中给出了test.jsp示例代码，包含获取网页内容及用不同正则表达式匹配href属性中链接的操作，但指出因正则表达式水平有限，不能抓取所有情况下的链接。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

利用java的net包获取网页源文件，使用正则表达式抓取当中的链接地址，因正则表达式学艺不精，下面这个例子中并不能抓取所有情况下的href属性中的链接地址

test.jsp

<%@ page contentType="text/html; charset=gb2312" language="java" import="java.util.regex.*" errorPage="" %>
<%
String sCurrentLine;
String sTotalString;
sCurrentLine="";
sTotalString="";
java.io.InputStream l_urlStream;
java.net.URL l_url = new java.net.URL("http://www.5ja.net");
java.net.HttpURLConnection l_connection = (java.net.HttpURLConnection) l_url.openConnection();
l_connection.connect();
l_urlStream = l_connection.getInputStream();
java.io.BufferedReader l_reader = new java.io.BufferedReader(new java.io.InputStreamReader(l_urlStream));

while ((sCurrentLine = l_reader.readLine()) != null)
{
sTotalString+=sCurrentLine;
}
//String regEx = "href=([^/"']*)>";
String regEx ="href=/"([^/"]*)/"";//找出href="****"的链接
Pattern p = Pattern.compile(regEx, Pattern.CASE_INSENSITIVE);
Matcher m = p.matcher(sTotalString);
int j=0;
while(m.find()){
j++;
out.println("m.group(" + j + "): " + m.group(0)+"<br>");
}
regEx ="href='([^']*)'";//找出href='****'的链接
p = Pattern.compile(regEx, Pattern.CASE_INSENSITIVE);//Pattern.CASE_INSENSITIVE查找忽略大小写
m = p.matcher(sTotalString);
while(m.find()){
j++;
out.println("m.group(" + j + "): " + m.group(0)+"<br>");
}
%>