这几天开始做一些爬虫方面的东西,但是在解析页面是碰到了分页数据的爬取问题,如果分页是get方式的url还好,但是如果是Post方式的ajax提交那就感觉比较纠结
思路:
因为是post所以首先想到使用Post的参数方式来做:
但是发现该方法实现发送后,获得的结果总是"System.NotSupportedException";
刚开始以为是Header设置不对,用工具对比后发现header信息基本一直,但是参数格式却是不一样的,比如当前方式的参数格式最终为"param1=value1¶m2=value2",而页面上ajax提交的参数确实json格式的字符串;
于是,就修改参数的构造方式:
首先构造json格式的字符串 如:
再设置参数到method :
这样就可以成功得到ajax返回的数据了,该方法同样适用于asp的异步方法,已经过验证;但是如果使用NameValuePair如何才能解决ajax问题呢,还有待研究!
思路:
因为是post所以首先想到使用Post的参数方式来做:
public String doHttpSend(String keyWord,String searchType,int pageNum) throws Exception
{
PostMethod method = null;
try
{
HttpClient client = getHttpClient();
method = new PostMethod(SEARCH_URL);
method.addRequestHeader("connection","keep-alive");
NameValuePair[] params = new NameValuePair[]{
new NameValuePair("keyWord",keyWord),
new NameValuePair("page",String.valueOf(pageNum))
};
method.addParameters(params);
int statusCode = client.executeMethod(method);
if(statusCode != HttpStatus.SC_OK)
{
return null;
}
System.out.println(method.getResponseBodyAsString());
return method.getResponseBodyAsString();
}
finally
{
if(null != method)
{
method.releaseConnection();
}
}
}
但是发现该方法实现发送后,获得的结果总是"System.NotSupportedException";
刚开始以为是Header设置不对,用工具对比后发现header信息基本一直,但是参数格式却是不一样的,比如当前方式的参数格式最终为"param1=value1¶m2=value2",而页面上ajax提交的参数确实json格式的字符串;
于是,就修改参数的构造方式:
首先构造json格式的字符串 如:
String param ="{\"keyWord\":"+keyWord+",\"page\":"+pageNum+"}"
,而不能使用NameValuePair来传递参数
再设置参数到method :
method.setRequestBody(param);
这样就可以成功得到ajax返回的数据了,该方法同样适用于asp的异步方法,已经过验证;但是如果使用NameValuePair如何才能解决ajax问题呢,还有待研究!