selenium+pyquery爬取《鱿鱼游戏》评论2000+条

IMDB网址爬取《鱿鱼游戏》的全部评论

1. 评论排名
2. 评论标题
3. id
4. 评论时间
5. 评论内容

导入所需要的包

1. selenium:模拟浏览器，这里使用的是Edge浏览器，需要安装Edge浏览器驱动
2. 解析库：PyQuery
3. 保存数据：pandas，保存为csv文件

from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import TimeoutException,NoSuchElementException
import time
from pyquery import PyQuery as pq
import pandas as pd

模拟在浏览器中点击‘加载更多’控件

1. 确定网址：url
2. 声明浏览器：browser
3. 访问网址：get
4. 函数定义加载次数：n
5. 每次加载间隔：2s
6. 获取页面右侧滚动条，行为处理࿱