【Python_006】Python爬虫抓取豆瓣电影影评

写在前面：
我在上一篇博客中【Python_005】利用jieba及wordcloud生成词频及词云图 ，为了测试切词和词云图的效果，从豆瓣爬了电影的100条短评，本篇博客就来分享一下如何爬豆瓣影评 （当然还是以神夏为例嘎嘎嘎）

使用到的模块

抓取主要使用到两个模块：urlib.request 和 BeautifulSoup

urllib.request

urllib.request 用于打开URL的可扩展库
官方文档

用urllib.request中的 request函数发送请求，urlopen函数可返回网址源代码

需要加入header信息，如果不加可能会发生HTTP Error 418

找到header方法，我这边使用的是Chrome, 打开一个网页，按F12进入开发者页面， 点Network -> Header，找到User Agent开头的一串，就是header

from urllib.request import urlopen, Request

url = 'https://movie.douban.com/explore#!type=movie&tag=%E8%B1%86%E7%93%A3%E9%AB%98%E5%88%86&sort=recommend&page_limit=20&page_start=0'

headers={
   'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)....../537.36'}

resp = Request(url, headers=headers)
req = urlopen