Java发送Http请求，解析html返回

转载:http://blog.csdn.net/wish_silence/archive/2009/07/17/4353815.aspx

声明：本文系JavaEye网站发布的原创博客文章，未经作者书面许可，严禁任何网站转载本文，否则必将追究法律责任！

今天是2008 年7月7日星期一，下午一直在学校做个人开始页面。因为离不开google的翻译，所以想把google的翻译整合到我的开始页面中来，于是乎就遇到了一个问题，怎样使用java程序发送http请求然后截获远程服务器返回的数据进行适当处理之后再输出？另外，google的翻译页面是使用post的方法提交数据的，无法直接通过网址进行处理，于是乎，这又涉及到了一个怎样使用java去post数据的问题。
经过拜读百度知道的提问（花了我 20分），找到了一个htmlparser的jar包组件，据说是可以很高效率的进行html的解析。于是乎，立马下载了一个过来。（文后附件中有）试了一下果然不错。同时，在这个过程中也学会了怎样利用java来和其它网站交互，这可是一个非常不错的功能，配合htmlparser，可以随心所欲的截取别人网站的信息了！
废话不多说了，下面是具体的使用步骤。

首先，向一个Web站点发送POST请求只需要简单的几步:
注意，这里不需要导入任何第三方包
Java代码
1. package com.test;
2.
3. import java.io.BufferedReader;
4. import java.io.IOException;
5. import java.io.InputStream;
6. import java.io.InputStreamReader;
7. import java.io.OutputStreamWriter;
8. import java.net.URL;
9. import java.net.URLConnection;
10.
11. public class TestPost {
12.
13. public static void testPost() throws IOException {
14.
15. /**
16. * 首先要和URL下的URLConnection对话。 URLConnection可以很容易的从URL得到。比如： // Using
17. * java.net.URL and //java.net.URLConnection
18. */
19. URL url = new URL("http://www.faircanton.com/message/check.asp");
20. URLConnection connection = url.openConnection();
21. /**
22. * 然后把连接设为输出模式。URLConnection通常作为输入来使用，比如下载一个Web页。
23. * 通过把URLConnection设为输出，你可以把数据向你个Web页传送。下面是如何做：
24. */
25. connection.setDoOutput(true);
26. /**
27. * 最后，为了得到OutputStream，简单起见，把它约束在Writer并且放入POST信息中，例如： ...
28. */
29. OutputStreamWriter out = new OutputStreamWriter(connection
30. .getOutputStream(), "8859_1");
31. out.write("username=kevin&password=*********"); //post的关键所在！
32. // remember to clean up
33. out.flush();
34. out.close();
35. /**
36. * 这样就可以发送一个看起来象这样的POST：
37. * POST /jobsearch/jobsearch.cgi HTTP 1.0 ACCEPT:
38. * text/plain Content-type: application/x-www-form-urlencoded
39. * Content-length: 99 username=bob password=someword
40. */
41. // 一旦发送成功，用以下方法就可以得到服务器的回应：
42. String sCurrentLine;
43. String sTotalString;
44. sCurrentLine = "";
45. sTotalString = "";
46. InputStream l_urlStream;
47. l_urlStream = connection.getInputStream();
48. // 传说中的三层包装阿！
49. BufferedReader l_reader = new BufferedReader(new InputStreamReader(
50. l_urlStream));
51. while ((sCurrentLine = l_reader.readLine()) != null) {
52. sTotalString += sCurrentLine + "\r\n";
53.
54. }
55. System.out.println(sTotalString);
56. }
57.
58. public static void main(String[] args) throws IOException {
59.
60. testPost();
61.
62. }
63.
64. }

1. package com.test;
2.
3. import java.io.BufferedReader;
4. import java.io.IOException;
5. import java.io.InputStream;
6. import java.io.InputStreamReader;
7. import java.io.OutputStreamWriter;
8. import java.net.URL;
9. import java.net.URLConnection;
10.
11. public class TestPost {
12.
13. public static void testPost() throws IOException {
14.
15. /**
16. * 首先要和URL下的URLConnection对话。 URLConnection可以很容易的从URL得到。比如： // Using
17. * java.net.URL and //java.net.URLConnection
18. */
19. URL url = new URL("http://www.faircanton.com/message/check.asp");
20. URLConnection connection = url.openConnection();
21. /**
22. * 然后把连接设为输出模式。URLConnection通常作为输入来使用，比如下载一个Web页。
23. * 通过把URLConnection设为输出，你可以把数据向你个Web页传送。下面是如何做：
24. */
25. connection.setDoOutput(true);
26. /**
27. * 最后，为了得到OutputStream，简单起见，把它约束在Writer并且放入POST信息中，例如： ...
28. */
29. OutputStreamWriter out = new OutputStreamWriter(connection
30. .getOutputStream(), "8859_1");
31. out.write("username=kevin&password=*********"); //post的关键所在！
32. // remember to clean up
33. out.flush();
34. out.close();
35. /**
36. * 这样就可以发送一个看起来象这样的POST：
37. * POST /jobsearch/jobsearch.cgi HTTP 1.0 ACCEPT:
38. * text/plain Content-type: application/x-www-form-urlencoded
39. * Content-length: 99 username=bob password=someword
40. */
41. // 一旦发送成功，用以下方法就可以得到服务器的回应：
42. String sCurrentLine;
43. String sTotalString;
44. sCurrentLine = "";
45. sTotalString = "";
46. InputStream l_urlStream;
47. l_urlStream = connection.getInputStream();
48. // 传说中的三层包装阿！
49. BufferedReader l_reader = new BufferedReader(new InputStreamReader(
50. l_urlStream));
51. while ((sCurrentLine = l_reader.readLine()) != null) {
52. sTotalString += sCurrentLine + "\r\n";
53.
54. }
55. System.out.println(sTotalString);
56. }
57.
58. public static void main(String[] args) throws IOException {
59.
60. testPost();
61.
62. }
63.
64. }

执行的结果：（果真是返回了验证后的html阿！神奇！）

Java代码
1. <html>
2. <head>
3. <meta http-equiv="Content-Type" content="text/html; charset=gb2312" />
4. <title>账户已经冻结</title>
5. <style type="text/css">
6. <!--
7. .temp {
8. font-family: Arial, Helvetica, sans-serif;
9. font-size: 14px;
10. font-weight: bold;
11. color: #666666;
12. margin: 10px;
13. padding: 10px;
14. border: 1px solid #999999;
15. }
16. .STYLE1 {color: #FF0000}
17. -->
18. </style>
19. </head>
20.
21. <body>
22.

23.

24.

25. <table width="700" border="0" align="center" cellpadding="0" cellspacing="0" class="temp">
26. <tr>
27. <td width="135" height="192">[align=center]<img src="images/err.jpg" width="54" height="58">[/align]</td>
28. <td width="563"><span class="STYLE1">登录失败</span><br>
29. <br>
30. 您的帐户活跃指数低于系统限制，您的帐户已经被暂时冻结。<br>
31. 请您联系网络主管或者人事主管重新激活您的帐户。

32. </td>
33. </tr>
34. </table>
35.

36. </body>
37. </html>

1. <html>
2. <head>
3. <meta http-equiv="Content-Type" content="text/html; charset=gb2312" />
4. <title>账户已经冻结</title>
5. <style type="text/css">
6. <!--
7. .temp {
8. font-family: Arial, Helvetica, sans-serif;
9. font-size: 14px;
10. font-weight: bold;
11. color: #666666;
12. margin: 10px;
13. padding: 10px;
14. border: 1px solid #999999;
15. }
16. .STYLE1 {color: #FF0000}
17. -->
18. </style>
19. </head>
20.
21. <body>
22.

23.

24.

25. <table width="700" border="0" align="center" cellpadding="0" cellspacing="0" class="temp">
26. <tr>
27. <td width="135" height="192">[align=center]<img src="images/err.jpg" width="54" height="58">[/align]</td>
28. <td width="563"><span class="STYLE1">登录失败</span><br>
29. <br>
30. 您的帐户活跃指数低于系统限制，您的帐户已经被暂时冻结。<br>
31. 请您联系网络主管或者人事主管重新激活您的帐户。

32. </td>
33. </tr>
34. </table>
35.

36. </body>
37. </html>

一些Web站点用POST形式而不是GET，这是因为POST能够携带更多的数据，而且不用URL，这使得它看起来不那么庞大。使用上面列出的大致的代码，Java代码可以和这些站点轻松的实现对话。


得到html以后，分析内容就显得相对轻松了。现在就可以使用htmlparser了，下面是一个简单的示例程序，过多的解释我就不说了，相信代码能够说明一切的！

Java代码
1. package com.test;
2.
3. import org.htmlparser.Node;
4. import org.htmlparser.NodeFilter;
5. import org.htmlparser.Parser;
6. import org.htmlparser.filters.TagNameFilter;
7. import org.htmlparser.tags.TableTag;
8. import org.htmlparser.util.NodeList;
9.
10. /**
11. * 标题:利用htmlparser提取网页纯文本的例子
12. */
13. public class TestHTMLParser {
14. public static void testHtml() {
15. try {
16. String sCurrentLine;
17. String sTotalString;
18. sCurrentLine = "";
19. sTotalString = "";
20. java.io.InputStream l_urlStream;
21. java.net.URL l_url = new java.net.URL("http://www.ideagrace.com/html/doc/2006/07/04/00929.html");
22. java.net.HttpURLConnection l_connection = (java.net.HttpURLConnection) l_url.openConnection();
23. l_connection.connect();
24. l_urlStream = l_connection.getInputStream();
25. java.io.BufferedReader l_reader = new java.io.BufferedReader(new java.io.InputStreamReader(l_urlStream));
26. while ((sCurrentLine = l_reader.readLine()) != null) {
27. sTotalString += sCurrentLine+"\r\n";
28. // System.out.println(sTotalString);
29. }
30. String testText = extractText(sTotalString);
31. System.out.println( testText );
32.
33. } catch (Exception e) {
34. e.printStackTrace();
35. }
36.
37. }
38.
39. public static String extractText(String inputHtml) throws Exception {
40. StringBuffer text = new StringBuffer();
41. Parser parser = Parser.createParser(new String(inputHtml.getBytes(),"GBK"), "GBK");
42. // 遍历所有的节点
43. NodeList nodes = parser.extractAllNodesThatMatch(new NodeFilter() {
44. public boolean accept(Node node) {
45. return true;
46. }
47. });
48.
49. System.out.println(nodes.size()); //打印节点的数量
50. for (int i=0;i<nodes.size();i++){
51. Node nodet = nodes.elementAt(i);
52. //System.out.println(nodet.getText());
53. text.append(new String(nodet.toPlainTextString().getBytes("GBK"))+"\r\n");
54. }
55. return text.toString();
56. }
57.
58. public static void test5(String resource) throws Exception {
59. Parser myParser = new Parser(resource);
60. myParser.setEncoding("GBK");
61. String filterStr = "table";
62. NodeFilter filter = new TagNameFilter(filterStr);
63. NodeList nodeList = myParser.extractAllNodesThatMatch(filter);
64. TableTag tabletag = (TableTag) nodeList.elementAt(11);
65.
66. }
67.
68. public static void main(String[] args) throws Exception {
69. // test5("http://www.ggdig.com");
70. testHtml();
71. }
72. }