python3.7爬取豆瓣电影实操
话不多说 上代码
抓包页面:
from urllib import request
import requests
import json
#构建爬虫类
class DoubanSpider:
def __init__(self):
self.templete_url = "https://movie.douban.com/j/search_subjects?type=movie&tag=%E7%83%AD%E9%97%A8&sort=recommend&page_limit=20&page_start={}" #抓包 豆瓣电影url 分析headers 参数
self.total = 1000 #暂时抓取1000条数据
# 处理内容 获取相要的内容
def get_content_list(self, dict_str):
return dict_str['subjects']
# 保存内容 将数据写入文本 并保存相应缩略图
def save_content_li