urllib2 获取html不全,[修正] JSOUP没有得到完整的HTML，但在python的urllib2工作

Document doc = Jsoup.connect(url).userAgent("Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_0 like Mac OS X; en-us) AppleWebKit/532.9 (KHTML, like Gecko) Version/4.0.5 Mobile/8A293 Safari/6531.22.7").timeout(10000).get();

只得到一半的网页的源代码中的Python代码

import urllib2

request = urllib2.Request("http://m.ibuildapp.com/site/ibuildapp_3/default?filter=webapp&searchText=&searchCat=254&page=1&url=http%3A%2F%2Fibuildapp.com%2Fproject$

opener = urllib2.build_opener()

request.add_header('User-Agent', 'Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_0 like Mac OS X; en-us) AppleWebKit/532.9 (KHTML, like Gecko) Version/4.0.5 Mobile/8A293$

filter=webapp&searchText=&searchCat=254&page=1&url=http%3A%2F%2Fibuildapp.com%2Fprojects$

data = opener.open(request).read()

print data

出了什么问题？ 我曾尝试添加引荐来源，饼干，还添加标题。

添加页眉

Accept-Encoding:gzip, deflate

固定的问题

2013-06-04

Manik

+0

你能提供两者的结果，包括doc.html( ); –

+0

你可以请你的解决方案作为答案，并*接受*它？所以其他人可以看到它已经解决了。 –