爬取豆瓣出版社信息
代码如下:
# 爬取豆瓣出版社
import urllib.request
import re
url = 'https://read.douban.com/provider/all'
# UsageAgent 为用户代理,伪装成为用户正常的访问
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.212 Safari/537.36'}
ret = urllib.request.Request(url, headers=headers)
# 打开链接,进行读取,解码
data = urllib.request.urlopen(ret).read().decode('utf-8')
# 要匹配的内容(出版社名称),为正则表达式
pat = '<div class="name">(.*?)</div>'
res = re.compile(pat).findall(data)
# 以‘写’的方式 打开txt文件
fh = open(r'C:\Users\阿娇啊\Desktop\a\douban.txt', 'w')
for i in range(0, len(res)):
print(res[i])
# 写入获取到的内容
fh.write(res[i] + '\n')
# 关闭文件
fh.close()
结果为: