python爬虫

异常处理：
在爬取的过程中，有可能会出现
URLHttp rror HTTPerror的错误，此时就需要使用到爬虫中的异常处理
语法：
try:
pass
except urllib.error.URLerror(HTTPerror) as a: pass
import urllib.error
import urllib.request
url = ‘http://www.scapzx.com/’
data = urllib.request.urlopen(url).read()
print(data)
try:
urllib.request.urlopen(url)
except urllib.error.URLError as a:
if hasattr(a,‘code’):
print(a.code)
if hasattr(a,‘reason’):
print(a.reason)
浏览器伪装：对于一些网站，Chrome不能够访问而用firefox就能够访问所以我就将请求伪装为firefox从而进行访问
import urllib.request# url =‘https://www.baidu.com/’
head =(‘User-Agent’,‘Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3452.0 Safari/537.3’)
此出是在添加报头，
req = urllib.request.build_opener()
添加请求 添加请求的目的是针对urlopen不能够访问的url
req.addheaders = [head]
添加头
data = req.open(url).read()
读取url
print(data)
f = open(‘文件路径’,‘wb’)
f.write(data)