朗朗的博客

要求：爬取https://ssr1.scrape.center/ 网站中所有电影标题、类型、地区、电影时长、上映日期、评分、简介；列表页面共10页，根据分析可得出，列表页面地址：https://ssr1.scrape.center/page/{页码}；本文参考文献：https://cuiqingcai.com/202224.html ，想学习爬虫的可以移步。分析：网站共有两个页面组成，电影列表和详情，我们所需要的内容都在详情页面里面可以找到。其他不说了，直接看代码得了，正则表达式部分比较烂。

本文模拟的是前后端分离项目，使用账号密码登录获取到token，拿着token加载用户信息，加载分页列表数据并存储文件。本文用到的知识点：1、urllib.parse URL解析；2、session用法，保存所有请求在一个会话中；取决于后台是否使用session传话保持；3、requests请求，添加headers，data参数；4、requests请求重定向获取重定向地址；5、文件的写入；