java 获取网站所有的链接_如何抓取一个网址下的所有页面链接 ？

展开全部

由于题目是放在【编程语言】栏目下的，但没有指定希望使32313133353236313431303231363533e4b893e5b19e31333363376437用哪种编程语言，我选择使用java语言来实现。

在Java中，使用HttpURLConnection即可连接URL，随后可以使用InputStreamReader获取网页内容文本。然后，使用正则表达式解析网页内容文本，找到所有的标签即实现需求。

以下是详细代码：import java.io.BufferedReader;

import java.io.IOException;

import java.io.InputStreamReader;

import java.net.HttpURLConnection;

import java.net.URL;

import java.util.ArrayList;

import java.util.regex.Matcher;

import java.util.regex.Pattern;

public class HtmlParser {

/**

* 要分析的网页

*/

String htmlUrl;

/**

* 分析结果

*/

ArrayList hrefList = new ArrayList();

/**

* 网页编码方式

*/

String charSet;

public HtmlParser(String htmlUrl) {

// TODO 自动生成的构造函数存根

thi