豆瓣top250电影爬取

 requests.get发送请求得到回应（headers模拟浏览器），

注意查看res.status_code是否返回200，res.encoding是否与网页charset一致，res.text查看内容

soup解析网页内容，因为在一个页面中就能获取信息，先找能涵盖信息的大标签，再在大标签下提取小标签

字符串处理主要用到strip，split，join

# -*- coding: utf-8 -*-
"""
Created on Thu Jul 26 18:41:06 2018

@author: MyPC
"""

import requests
from bs4 import BeautifulSoup

#url='https://movie.douban.com/top250'
headers={
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 \
        (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
        }

total=[]
def getinfo(url):
    res=requests.get(url,headers=headers)
    soup=BeautifulSoup(res.text,'html.parser')
    
    all=soup.find_all('div',class_='info')
    for each in all:
        biaoti=each.find('span',class_='title').string
        daoyan=each.find('div',class_='bd').p.text.split('\n')[1].strip()
        nianfen=each.find('div',class_='bd').p.text.split('\n')[2].strip()
        pingfen=float(each.find('span',class_='rating_num').text)
        try:
            jianjie=each.find('span',class_='inq').text
        except:
            jianjie=''
        info={'标题':biaoti,
              '导演':daoyan,
              '年份':nianfen,
              '评分':pingfen,
              '简介':jianjie}
        total.append(info)
    return total


if __name__ == '__main__':
    for i in range(10):
        URL='https://movie.douban.com/top250?start={}&filter='.format(25 * i)
        getinfo(URL)
    
import pandas
dd=pandas.DataFrame(total)
dd.to_excel('douban250.xls',columns=['标题','年份','评分','导演','简介'])