Python爬取《冰雪奇缘2》豆瓣影评

[python免费学习资料以及群交流解答点击即可加入

]( )

---

一、分析URL

---

1、分析豆瓣影评URL

首先在豆瓣中，找到我们想要爬取的电影《冰雪奇缘2》

2、查看影片评论

二、爬取评论

---

分析网页源码

分析源码，可以看到评论在这个标签中，即代码为：

import urllib.request

from bs4 import BeautifulSoup

def getHtml(url):

“”“获取url页面”“”

headers = {‘User-Agent’:‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36’}

req = urllib.request.Request(url,headers