爬取豆瓣电影top250
平时不知道看什么电影,正好最近学习了爬虫,自己试着把电影排行下载下来,边看边学两不误。
下面直接上代码:
import requests
from bs4 import BeautifulSoup
# 爬取网页源码
def download_page(url):
headers={
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.80 Safari/537.36'
}
req = requests.get(url=url, headers=headers)
return req.content
# 爬取单页电影名返回列表
def get_page_list(html