继续深入HttpClient,用HttpClient+HtmlParser打造网络小偷程序

 前两天，由于防盗链，接触到HttpClient这个包，后来加点需求，做一个网页小偷程序试试看，花了一天时间，终于有所斩获。所需技术：HttpClient,HttpParser.

其中，HttpClient主要做的工作是获取html数据，而HttpParser主要是解释html，从中来获取我们有需要的那部分。

1。准备工作：

 搭建环境，

  httpClient4.0 开发包

 httpParser2.0开发包

 common-logging.jar

 

2。懒得搞那么复杂，通过程序说话吧。。以下是程序代码，在代码中说话吧：

package com.fun; import java.util.ArrayList; import java.util.Collection; import java.util.HashMap; import java.util.Iterator; import java.util.List; import java.util.Map; import org.apache.http.Header; import org.apache.http.HttpResponse; import org.apache.http.NameValuePair; import org.apache.http.client.HttpClient; import org.apache.http.client.ResponseHandler; import org.apache.http.client.entity.UrlEncodedFormEntity; import org.apache.http.client.methods.HttpGet; import org.apache.http.client.methods.HttpPost; import org.apache.http.impl.client.BasicResponseHandler; import org.apache.http.impl.client.DefaultHttpClient; import org.apache.http.message.BasicNameValuePair; import org.apache.http.protocol.HTTP; import org.htmlparser.Node; import org.htmlparser.Parser; import org.htmlparser.filters.AndFilter; import org.htmlparser.filters.HasAttributeFilter; import org.htmlparser.filters.HasChildFilter; import org.htmlparser.filters.NodeClassFilter; import org.htmlparser.filters.TagNameFilter; import org.htmlparser.tags.InputTag; import org.htmlparser.tags.Span; import org.htmlparser.util.NodeList; /** * * @author Beacher.Ma * */ public class HtmlParserTest { /** * @param args */ /** * 为了简单起见，所有异常全部抛出，在开发中应根据需求catch代码，在此只作DEMO演示。 */ public static void main(String[] args) throws Exception { //建立一个链接 HttpClient httpclient = new DefaultHttpClient(); /*首先说说我要登录的这个站点的情况， 该网站是一个.net的站点，站点的验证码并不是生成的图片，而是生成在页面的数字。如果是图片的话，还得麻烦分析验证码中的数字或字母呢。 所以，我第一步的工作是，将这个登录页生成的静态页面拿到本地，读取该登录页面生成的验证码，和所需的valueState值，.net的登录似乎都会有这么 一个valueState值，我们就用这种方式读取*/ //人道点，不能把这个网站打出来n_n //HttpClient4.0较之前的3.0的版本有很大的变化，作GET方式链接 3.0我们用GetMethod 4.0改用HttpGet //HttpClient还有个链接状态，它可定义 如果链接不上怎么处理,等情况 HttpGet get = new HttpGet("http://www.xxx.com/uPassport.aspx"); //定义Response的“回调类” 这样叫不科学，我是这么理解的， 呵呵 ResponseHandler<String> responseHandler = new BasicResponseHandler(); //responseBody返回的是该链接的所有静态页面 String responseBody = httpclient.execute(get, responseHandler); //System.out.println(responseBody); //我的的解释器出场，parser可以用setURL()方法解析一个页面 Parser parser = new Parser(responseBody); // parser.setURL("http://www.56a88.com/uPassport.aspx"); //HtmlParser的filter很好用，它可以套用filter 你可以理解为我们的逻辑运算符一样 //至于HtmlParser解释这些filter篇幅很长，下面我放一些关于Htmlparser的学习资料在后面 //像这个网站，它的html代码是这样的 /* <tr> <td align="right">验证码：</td> <td> <input name="TextBox3" type="text" id="TextBox3" style="font-size:Medium;width:40px;" /> <span id="Label1" style="display:inline-block;color:#000FFF;font-family:Arial;font-size:Medium;font-weight:bold;width:42px;">7207</span></td> </tr>*/ //我这里用的是AndFilter 下面三行代码的意思是 过滤 span标签中 id为 Label1的span //获取得：<span id="Label1" style="display:inline-block;color:#000FFF;font-family:Arial;font-size:Medium;font-weight:bold;width:42px;">7207</span> NodeClassFilter ncf = new NodeClassFilter(Span.class); HasAttributeFilter haf = new HasAttributeFilter("id", "Label1"); AndFilter af = new AndFilter(ncf, haf); NodeList list = parser.parse(af); //然后解析出这串数字出来 Node node = list.elementAt(0); //验证码 String code = node.toPlainTextString().trim(); System.out.println("验证码：" + code); parser.reset(); // viewState也是按上面这个方法来做。 ncf = new NodeClassFilter(InputTag.class); haf = new HasAttributeFilter("id", "__VIEWSTATE"); af = new AndFilter(ncf, haf); list = parser.parse(af); node = list.elementAt(0); InputTag it = (InputTag) node; String viewState = it.getAttribute("value").trim(); System.out.println("viewState:" + viewState); parser.reset(); // EVENTVALIDATION ncf = new NodeClassFilter(InputTag.class); haf = new HasAttributeFilter("id", "__EVENTVALIDATION"); af = new AndFilter(ncf, haf); list = parser.parse(af); node = list.elementAt(0); it = (InputTag) node; String validation = it.getAttribute("value").trim(); System.out.println("validation:" + validation); //找完form要的所有数据，后我们用post方法连接 HttpPost post = new HttpPost("http://www.xxx.com/uPassport.aspx"); //以下是form的所有要提交的数据 NameValuePair nvp1 = new BasicNameValuePair("__EVENTTARGET", ""); NameValuePair nvp2 = new BasicNameValuePair("__EVENTARGUMENT", ""); NameValuePair nvp3 = new BasicNameValuePair("__LASTFOCUS", ""); NameValuePair nvp4 = new BasicNameValuePair("__VIEWSTATE", viewState); NameValuePair nvp5 = new BasicNameValuePair("__EVENTVALIDATION", validation); NameValuePair nvp6 = new BasicNameValuePair("txtUser", "yourname"); NameValuePair nvp7 = new BasicNameValuePair("txtPwd", "yourpassword"); NameValuePair nvp8 = new BasicNameValuePair("rdoUserType", "0"); NameValuePair nvp9 = new BasicNameValuePair("TextBox3", code); NameValuePair nvp10 = new BasicNameValuePair("btnLogin", "登录"); List<NameValuePair> nvps = new ArrayList<NameValuePair>(); nvps.add(nvp1); nvps.add(nvp2); nvps.add(nvp3); nvps.add(nvp4); nvps.add(nvp5); nvps.add(nvp6); nvps.add(nvp7); nvps.add(nvp8); nvps.add(nvp9); nvps.add(nvp10); //设置post的传送方式 post.setEntity(new UrlEncodedFormEntity(nvps, HTTP.UTF_8)); HttpResponse res = httpclient.execute(post); //成功后，在response中获得当前成功跳转的url Header[] header = res.getHeaders("location"); System.out.println(header[0].getValue()); System.out.println("=====登陆成功==================="); post.abort(); //借数据开始，借数不算偷---孔乙己 //httpClient会为我们自动保存cookie，（前人说的，没有验证）我们之间转到要借数据的页面 Map<Integer,List> datas=new HashMap(); int step=0; List<String> finish; double total=0D; //先拿100条吧，为演示所用 while(step<=100){ Long time1=System.currentTimeMillis(); get = new HttpGet( "http://www.xxxx.com/member/xxx_disp"+(118115+step)+".html"); String data = httpclient.execute(get, responseHandler); Parser parser2 = new Parser(data); // af = new AndFilter(ncf); //这里要拿什么数，就自己决定咯.... ncf = new NodeClassFilter(Span.class); TagNameFilter taf = new TagNameFilter("B"); HasChildFilter hcf = new HasChildFilter(taf); af = new AndFilter(ncf, hcf); list = parser2.parse(af); finish = new ArrayList<String>(); for (int i = 1; i < list.size(); i++) { Node temp = list.elementAt(i); String txt = (temp.getChildren().elementAt(2).toPlainTextString()) .trim(); if (txt.length() > 0) { finish.add(txt); } } datas.put(step, finish); finish=null; Long time2=System.currentTimeMillis(); Long useTime=time2-time1; Double pessen=useTime/1000D; System.out.println("已加入第"+(step+1)+"条数据，用时："+pessen+"秒！"); ++step; } System.out.println("共搜集了："+datas.size()+"条数据！"); System.out.println("共用时："+total+"秒"); } }

 

 

总结，上述只是个简单的例子。我们可以先求实现然后再来完善，如处理多线程取数，断线或404时的考虑 等。。。

 

HtmlParser参考资料：

    打开：www.google.com 搜：HtmlParser 回车 n_n