Python爬虫-爬取豆瓣出版社信息

爬取豆瓣出版社信息


代码如下：

# 爬取豆瓣出版社
import urllib.request
import re

url = 'https://read.douban.com/provider/all'
# UsageAgent 为用户代理，伪装成为用户正常的访问
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.212 Safari/537.36'}
ret = urllib.request.Request(url, headers=headers)
# 打开链接，进行读取，解码
data = urllib.request.urlopen(ret).read().decode('utf-8')
# 要匹配的内容（出版社名称），为正则表达式
pat = '<div class="name">(.*?)</div>'
res = re.compile(pat).findall(data)
# 以‘写’的方式 打开txt文件
fh = open(r'C:\Users\阿娇啊\Desktop\a\douban.txt', 'w')
for i in range(0, len(res)):
    print(res[i])
    # 写入获取到的内容
    fh.write(res[i] + '\n')
# 关闭文件
fh.close()

结果为：