利用python爬取复仇者联盟3无限战争豆瓣短评

漫威粉丝，恰恰最近在学习python爬虫，于是就照着参考书目做了一个可以爬取豆瓣短评的爬虫，结果输出到txt文档，之后便可以进行词云分析，搞一些好玩的东西啦，话不多说，上代码。

import requests
from bs4 import BeautifulSoup              

首先是两个需要用到的包，一个requests用于请求网页，一个beautiful soup用于解析网页，获取我们想要的内容。

def get_comments(url_comments):                                  #定义评论爬取函数

    headers ={
    ("User-Agent":'Mozilla/5.0(Windows
;U;Windows NT 6.1;Win64;x64) AppleWebKit/537.36 
(KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36'),
     'Host':'movie.douban.com'
    }                                             #定义爬虫请求头
    comments_list=[]                                 #定义存储评论的列表
    for i in range(0,10