爬取豆瓣读书的书籍（一）

环境准备：
Python3
PyCharm 2018.3.4 x64
Google Chrome浏览器

爬取豆瓣读书书籍的基本步骤

1、在pycharm中导入urllib模块的request；
2、获取豆瓣读书网的url信息和User-Agent;
3、用urlopen打开网址并发送请求；
4、用urlretrieve来保存我们打开的网页信息。

爬取豆瓣首页信息
from urllib import request
#获取豆瓣读书的网址
url = 'https://book.douban.com/'
#获取豆瓣读书网的代理用户信息
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.87 Safari/537.36'
}
#打开网址并发送请求
rq = request.Request(url,headers=headers)
res = request.urlopen(rq)
resp=request.urlretrieve(url,'')
print(res.read().decode('utf-8'))  #解码

谢谢！