Python 3 中" urllib.error.HTTPError: HTTP Error 403: Forbidden"问题的解决方案

python使用urlopen/urlretrieve下载文件时出现403 forbidden的解决方法

urllib.request.urlopen 并不是最好的，最好的是   urllib.request.urlretrieve

urllib.request.urlopen("http://blog.csdn.net/eric_sunah/article/details/11099295")

urllib.request.urlopen() 方法经常会被用来打开一个网页的源代码,然后会去分析这个页面源代码,但是对于有的网站使用这种方法时会抛出"HTTP Error 403: Forbidden"异常

之所以出现上面的异常,是因为如果用 urllib.request.urlopen 方式打开一个URL,服务器端只会收到一个单纯的对于该页面访问的请求,但是服务器并不知道发送这个请求使用的浏览器,操作系统,硬件平台等信息,而缺失这些信息的请求往往都是非正常的访问,例如爬虫.

有些网站为了防止这种非正常的访问,会验证请求信息中的UserAgent(它的信息包括硬件平台、系统软件、应用软件和用户个人偏好),如果UserAgent存在异常或者是不存在,那么这次请求将会被拒绝

出现该错误的原因是服务器开启了反爬虫，一般情况下只需要设置header模拟浏览器即可，但是urlretrieve并未提供header参数。

使用urlopen也可以直接下载文件，例

所以可以尝试在请求中加入UserAgent的信息

解决方法

1. opener=urllib.request.build_opener()

2. opener.addheaders=[('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.1941.0 Safari/537.36')]

3. urllib.request.install_opener(opener)

4. urllib.request.urlretrieve(url, Path)

我直接贴代码上来

opener = urllib.request.build_opener()
opener.addheaders = [('User-Agent',
                      'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.1941.0 Safari/537.36')]

urllib.request.install_opener(opener)



for img in img_nodes:
    if img.get('file') is not None:
        img_url = img.get('file')
        ID = img.get('id')
        line = str(count) + "\t" + img_url  + "\n"
        img_meta.write(line)
        try:
           #urllib.request.urlretrieve(img_url, "./output/image/" + str(count) + ".jpg") # 一个一个下载图片
           #urllib.request.urlretrieve(img_url, "./output/image/" + ID + ".jpg")
           urllib.request.urlretrieve(img_url, "./output/image/" + ID + ".jpg")
        except urllib.request.URLError:
            print("Error opening URL")
        count += 1