python3 HTTP Error 403:Forbidden

问题描述
初学python，在用python中的urllib.request.urlopen()和urllib.request.urlretrieve方法打开网页时，有些网站会抛出异常: HTTP Error 403:Forbidden

问题原因
网站对爬虫的操作进行了限制

解决方法
伪装成浏览器，

headers = {'User-Agent':'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:52.0) Gecko/20100101 Firefox/52.0'}
req=urllib.request.Request(url=target_url,headers=headers) 
urllib.request.urlopen(req).read()

import urllib.request
opener = urllib.request.build_opener()
opener.addheaders = [('User-agent', 'Mozilla/5.0')]
urllib.request.install_opener(opener)
urllib.request.urlretrieve("type URL here", "path/file_name")

基础用法如下：

1.urlopen()方法
urllib.urlopen(url[, data[, proxies]]) :创建一个表示远程url的类文件对象，然后像本地文件一样操作这个类文件对象来获取远程数据。
参数url表示远程数据的路径，一般是网址