python下载链接重定向_Python遵循重定向然后下载页面?

我有以下

python脚本,它的工作原理很好.

import urllib2

url = 'http://abc.com' # write the url here

usock = urllib2.urlopen(url)

data = usock.read()

usock.close()

print data

然而,我给它的一些URL可能会重定向2次以上.在加载数据之前,如何让python等待重定向完成.

例如使用上面的代码

http://www.google.com/search?hl=en&q=KEYWORD&btnI=1

这是一个在google搜索上击中幸运按钮的等同方式,我得到:

>>> url = 'http://www.google.com/search?hl=en&q=KEYWORD&btnI=1'

>>> usick = urllib2.urlopen(url)

Traceback (most recent call last):

File "", line 1, in

File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/urllib2.py", line 126, in urlopen

return _opener.open(url, data, timeout)

File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/urllib2.py", line 400, in open

response = meth(req, response)

File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/urllib2.py", line 513, in http_response

'http', request, response, code, msg, hdrs)

File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/urllib2.py", line 438, in error

return self._call_chain(*args)

File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/urllib2.py", line 372, in _call_chain

result = func(*args)

File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/urllib2.py", line 521, in http_error_default

raise HTTPError(req.get_full_url(), code, msg, hdrs, fp)

urllib2.HTTPError: HTTP Error 403: Forbidden

>>>

我试过(url,数据,超时),但我不确定该放在那里.

编辑:

我实际上发现,如果我不重定向,只是使用第一个链接的标题,我可以抓住下一个重定向的位置,并将其用作我的最终链接

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值