网络爬虫练习（信息爬取）

要求：提取电影Top250的电影基本信息，包括电影名称、电影外文名、评分等，将获取到的内容保存到本地csv文件中。

#导入库
import requests
from bs4 import BeautifulSoup
import pandas as pd

#获取网页
urls = ['https://movie.douban.com/top250?start=%a&filter='%(a*25) for a in range(0,10)]#网页信息有多页，通过观察发现url只在start上有区别，以此为0，25，50……所以需要循环获取得到每一页不同的url，通过%a来改变start的值
headers= {
    'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.51 Safari/537.36'
}
NameAll=[]
EnglishNameAll=[]
ScoreAll=[]
for url in urls:#开始从获取的url中进行遍历
    res=requests.get(url,headers=headers)
    html=res.text
    #解析网页
    soup=BeautifulSoup(html,'lxml')
    datalist=soup.select(".grid_view li")
    Name_list=[]
    EnglishName_list=[]
    Score_list=[]
    for li in datalist:
        Name_list.append(li.find(attrs={'class':'title'}).text)
        EnglishName_list.append(li.find(attrs={'class':'other'}).text)
        Score_list.append(li.find(class_='rating_num').string)
    NameAll.extend(Name_list)
    EnglishNameAll.extend(EnglishName_list)
    ScoreAll.extend(Score_list)#extend和append的区别在于一个前者会改变加入数据的格式，后者不改变加入数据的格式，保持原有格式。
# 保存数据
data={
    'Name':NameAll,
    'EnglishName':EnglishNameAll,
    'Score':ScoreAll
}
df=pd.DataFrame(data)
df
df.to_csv('e:/Top250.csv',index=None)