PYTHON爬虫学习——urllib库之Debuglog与URLError实战练习

算是补前段时间学习爬虫的坑吧，这几天捡回来发现好多东西都忘了，所以写写记录下来，主要是跟着《精通PYTHON网络爬虫》这本书来学习

版本：PYTHON 3.5.2

工具：Spyder 

代码如下：

import urllib.request
import urllib.parse

import urllib.error
httpsn=urllib.request.HTTPHandler(debuglevel=1)
httphn=urllib.request.HTTPSHandler(debuglevel=1)
opener=urllib.request.build_opener(httpsn,httphn)
urllib.request.install_opener(opener)
url='https://nba.hupu.com/'


rep=urllib.request.Request(url)
rep.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36')
try:

data=urllib.request.urlopen(rep).read()

except urllib.error.URLError as e:

if hasattr(e,'code'):

print(e.code)

if hasattr(e,'reason' ):

print(e.reason)   

with open(r'C:\Users\10357\Desktop\3.html','wb')as file:
    file.write(data)
print("finished!")

1）.先分别使用urllib.request.HTTPHandler和urllib.request.HTTPSHandler，并且将debuglevel设置为1.

2）之后使用urllib.request.build_opener创建出自定义的opener对象，将1）中内容设定为参数，接着用urllib.request.install_opener创建全局默认的opener对象，因此我们可以在使用urlopen时也可以使用我们自己安装的opener对象

3）接着使用urllib.request.Request来读取url信息，用add_header添加对应的浏览器头部信息

4）然后使用URLError进行异常处理：先做一个判断，如果有e.code则输出对应信息，没有则自动忽略。e.reason()同理。并且使用hasattr（）来判断是否有这些属性

5）最后将爬取到的虎扑篮球网页保存到桌面，输出finished！

心得：感觉urllib库中比较关键的地方就是url.request.build——opener（）和add_header（）这俩部分吧，前者可以修改报头，后者可以实现对应的浏览器模拟，减少被网站反爬的可能性。debuglog则是可以让我们实时观察到运行日志；try..except是经常用来进行异常处理，配合URLError，可以及时发现爬虫中出现的与url有关的异常，非常的好用。

更高级点的内容之后慢慢补吧。。