# 需求:获取豆瓣电影中动态加载出更多电影详情数据
# 思路:喜剧排行榜,ajax请求,20条,页面滚动加载
#
# 浏览器打开网址--模拟浏览器滚动--怎么滚动页面?执行js代码。怎么抓取?不用重新发请求
from selenium import webdriver as wd
from time import sleep
bro = wd.PhantomJS(executable_path='./phantomjs-2.1.1-windows/bin/phantomjs')
bro.get('https://movie.douban.com/typerank?type_name=%E5%96%9C%E5%89%A7&type=24&interval_id=100:90&action=')
# 浏览器滚动到底部
js='window.scrollTo(0,document.body.scrollHeight)'
# 如何让浏览器对象执行js代码
bro.execute_script(js)
sleep(5)
bro.save_screenshot('./5.png')
# 获取加载数据后的页面: page_source获取浏览器当前数据
page_text = bro.page_source
# 解析数据
爬虫——需求:获取豆瓣电影中动态加载出更多电影详情数据
最新推荐文章于 2021-01-31 18:01:06 发布