Python爬取豆瓣Top250电影排行榜并作出数据分析

爬取数据

import requests
import re
url="https://movie.douban.com/top250"   #网页地址
headers={     #下面数据可以按F12从网页找
    "user-agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 
    (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36"
}     #增加请求头，避免被当成人机
requer=requests.get(url,headers=headers)
print(requer.text)  #输出文本

爬取结果（text文本）

对文本提取关键词分析

page=requer.text  #得到数据文本
obj=re.compile(r'<li>.*?<span class="title">(?P<name>.*?)'
               r'</span>.*?<br>(?P<time>.*?)&nbsp.*?<span class="rating_num" '
               r'property="v:average">(?P<score>.*?)</span>',re.S)
result=obj.finditer(page)
for i in result:
    print(i.group('name'))
    print(i.group('time').strip())
    print(i.group('score'))

提取结果