爬虫——豆瓣Top250

使用requset库和bs4解析，最后保存为csv文件

import requests
from bs4 import BeautifulSoup
import pandas as pd
import xlwt
#https://movie.douban.com/top250?start=0
#https://movie.douban.com/top250?start=25&filter=
#爬取网页 获取响应 分析发现网页url与页面有关 25*page

def get_content(page):


        url = 'https://movie.douban.com/top250'

        data = {
            'start':25 * page
        }
        headers = {
             'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Safari/537.36'
        }
        response = requests.get(url=url,params=data,headers=headers)
        content = response.text
        return content

#解析响应内容 使用bs4
#所有的信息都在div[@class= info]标签下面
#电影名 xpath路径 //div[@class="info"]//span[@class="title"]/text() 会有中英文 [0]使得只有中文

def get_Data():
    data_info = []