豆瓣TOP250 电影 爬虫

爬取豆瓣TOP250电影。

思路:用requsets获取网页的内容后，用BeautifulSoup模块制成文档树，然后在文档树中找我们的需要的内容保存下来就成功了。

```
import requests
import bs4
import openpyxl

#获取网页内容，返回文档树
def getUrl(url,headers):
    req=requests.get(url,headers)
    soup=bs4.BeautifulSoup(req.text,'html.parser')

    return soup

def getContent(soup):
    #保存电影名称
    name=[]
    result=soup.find_all('div',class_='hd')
    for each in result:
        name.append(each.a.span.text)

    #保存评分
    score=[]
    result=soup.find_all('span',class_='rating_num')
    for each in result:
        score.append(each.text)

    #保存简介
    comment=[]

    result=soup.find_all('div',class_='star')
    for each in result:
    
        #有些电影没有一句话简介，因此find_all会缺失该电影简介。因此我们可以找到他的兄弟节点，然后判断简介是否存在。
        if each.next_sibling.next_sibling:
            comment.append((each.next_sibling.next_sibling.text).split('\n')[1])
        else:
            comment.append("无简介")

    #汇总内容并返回
    result=[]
    depth=len(name)

    #把同一部电影名称，评分，简介内容写在一起
    for i in range(depth):
        result.append([name[i],score[i],comment[i]])

    return result

def main():

    # 消息头
    headers = {'Uesr-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:64.0) Gecko/20100101 Firefox/64.0'}

    #汇总十页的内容
    content=[]
    for i in range(10):
        #翻页
        url='https://movie.douban.com/top250?start={}&filter='.format(str(i*25))
        response=getUrl(url,headers)
        content.extend(getContent(response))
        
    #统计成excel文档，需要用到openpyxl模块
    wb=openpyxl.Workbook()
    ws=wb.active
    ws.append(['电影名','评分','简介'])
    for each in content:
        ws.append(each)
    wb.save('F:/爬虫汇总/豆瓣top250/统计结果.xlsx')

    #这段注释可以把我们抓到的数据直接写成文本形式
'''
    with open ('豆瓣top250.txt','w',encoding='utf-8') as f:
        for each in content:
            f.write(str(each)+'\n')
'''
if __name__=="__main__":
    main()

 

```
关于翻页问题，我们点击几页就可以发现他们网址的规律：

https://movie.douban.com/top250?start=0&filter=

这是第一页网址，第二页的时候start=25，第三页start=50...

依据这个规律我们就可以实现翻页。

 

BeautifulSoup文档树模块中

.next_sibling和.previous_sibling用于查找目标前后的兄弟节点内容。

以上。