Python:爬虫爬取豆瓣Top250电影代码

import requests                 #导入requests库
from bs4 import BeautifulSoup    #导入BeautifulSoup库

headers={"User-Agent":"输入自己的User-Agent"} #设置请求头
with open('douban_movie.txt', 'w', encoding='utf-8') as f: #打开文件
    for start_num in range(0,250,25):                            #设定循环
        url = f"https://movie.douban.com/top250?start={start_num}"  #实现翻页效果
        response=requests.get(url,headers=headers)        #发送GET请求
        html=response.text                                      #获取网页内容
        soup=BeautifulSoup(html,"html.parser")                 #解析网页内容
        all_titles=soup.findAll("span",attrs={"class":"title"})#找到所有class为"title"的span标签
        for title in all_titles:                                 #遍历所有的span标签
            title_string=title.string                            #获取标签中的文本
            if "/" not in title_string:                            #如果文本中不包含"/"
                f.write(title_string+'\n')                        #将文本写入文件
                print(title_string)                                #打印文本

最终将在本地保存为txt文本文件。