python3爬虫豆瓣前一百_python爬虫：豆瓣电影TOP100

今天学习学得头大，放松之余，水一篇文章好了——

用python爬虫豆瓣电影TOP100的简易信息

要收集的信息包括：每部电影的标题、导演、上映年份、评分以及引用。

环境：python 2.7

系统：macOS 10.13.1

模块：BeautifulSoup、requests、pandas

过程很简单，分析一下网页结构，然后用BeautifulSoup分分钟写好呀：

from BeautifulSoup import BeautifulSoup

import requests

import pandas as pd

movies = []

N = 1

for i in range(4): # 每页25部电影，共需搜索4页

page = requests.get('https://movie.douban.com/top250?start={}&filter='.format(i))

soup = BeautifulSoup(page.text) # 用BeautifulSoup对html源码进行处理

info_list = soup.findAll('ol')[0].findAll('li') # 观察可知电影信息在第1个

1. 标签的各个
2. 标签里

   for info in info_list:

   movie = {

   'ranking':str(N),

   'title'