专题系列导引
爬虫课题描述可见：
课题解决方法：
微博移动版爬虫
微博PC网页版爬虫
Python爬虫【二】爬取PC网页版“微博辟谣”账号内容(selenium同步单线程)
Python爬虫【三】爬取PC网页版“微博辟谣”账号内容(selenium单页面内多线程爬取内容)
Python爬虫【四】爬取PC网页版“微博辟谣”账号内容(selenium多线程异步处理多页面)
前言
前面专题文章【三】中，我们编写了微博PC网页版单页面内多线程爬取内容的爬虫工程。但因为翻页、下拉等操作仍为单线程执行，并且耗时较高，所以总体执行速度仍然不太可观。尤其是网络不理想的情形下，加载页面、翻页格外耗时，拖累了整体的效率。
因此设想，是否可以异步启动多个driver驱动，数量为n；同时将微博辟谣240页数据分割为n份的piece，每个driver驱动负责分析爬取一部分piece，最后再汇总，写入表格，来实现整体异步并行爬取的逻辑，提升整个工程的效率。
此文我们仍然是基于【二】【三】中的项目进行改造升级，让其实现selenium多线程异步处理多页面的功能。
一.改造多页面多线程
对于整个设计流程，之前CrawlHandle串行方法内的逻辑没有问题，仍然是执行五个步骤。前面的启动driver、登录认证，后面的关闭driver、写入数据，都没有变化。
唯一需要做改动的是步骤三，此时仅用Crawl类已无法满足要求，因为类中def crawler_all_wb_and_save_df()方法的设计，从一开始就是串行处理的。所以我们创建新的爬取类：BatchCrawl
1. 新爬取类：BatchCrawl
a. 初始化
因此我们需要仿照Crawl类，写一个并行处理的BatchCrawl类，此类也有def crawler_all_wb_and_save_df()方法，只是改造成了并行启动多driver、并行爬取的方法。具体如下：
class BatchCrawler:
def __init__(self, driver_num, all_page_num, async_flag=True):
self.driver_num = driver_num
self.all_page_num = all_page_num
self.async_flag = async_flag
# 定义空df，以装载处理完的数据
self.excel_df = DataFrame(columns=EXCEL_COLUMNS)
self.driver = None
self.cookies = None
可以看到多了很多参数。因为要分piece并行处理，所以微博总共有多少页，分几片，每片包含多少页微博，这些参数需要预先传入。
b. crawler_all_wb_and_save_df()方法
BatchCrawl类的def crawler_all_wb_and_save_df()方法，结合Crawl类的方法改造如下：
def crawler_all_wb_and_save_df(self):
"""
不断爬取所有微博内容数据，并存入excel_df最末端
:param driver:
:return:
"""
try:
# 初始化启动一批driver，每个driver负责若干页的爬取
self.__init_b_driver_list()
thread_list = []
for b_driver in self.b_driver_list:
# 多线程：
thread = util.WBCrawlerThread(b_driver.crawler_batch_wb_and_save_df)
thread_list.append(thread)
thread.start()
# 取结果
for thread in thread_list:
thread.join()
self.excel_df = self.excel_df.append(thread.result)
# 关闭批处理的driver
self.__drivers_quit()
except:
print("爬虫爬取全部微博数据时出现问题，先返回数据:excel_df")
traceback.print_exc()
步骤如下：
- 构造一批可以异步启动的driver浏览器
- 异步启动上面的driver
- 等待异步爬取完成后，取出每个driver内的结果df，组成大的结果df
c. __init_b_driver_list()方法
def __init_b_driver_list()方法会启动一批driver，每个driver、编号数、对应piece的页面都封装入BatchDriver对象中，存入self.b_driver_list属性内；
def __init_b_driver_list(self):
"""
初始化启动一批driver，每个driver负责若干页的爬取
:return:
"""
b_driver_list = []
page_size = math.ceil(self.all_page_num / self.driver_num)
print("初始化启动一批driver：数量：%s，每个driver负责处理page数：%s" % (self.driver_num,page_size))
for index in range(self.driver_num):
start_page = page_size * index + 1
end_page = page_size * ( index + 1 ) if index < (self.driver_num - 1) else self.all_page_num
p_driver = None
if index == 0:
p_driver = BatchDriver(index + 1, start_page, end_page, self.cookies, self.driver)
else:
p_driver = BatchDriver(index + 1, start_page, end_page, self.cookies, None)
b_driver_list.append(p_driver)
self.b_driver_list = b_driver_list
2. BatchDriver
BatchDriver是异步处理多页面功能的核心类。存储了本批次的driver、编号、driver负责的微博piece页面区间等属性；并且编写了爬取方法def crawler_batch_wb_and_save_df()，Thread框架正是多线程执行此方法，实现了异步爬取的功能。
定义如下：
class BatchDriver:
"""
多线程分批次处理若干页的driver，每个driver处理start_page到end_page内的爬取
"""
def __init__(self, index, start_page, end_page, cookies, driver=None, async_flag=True):
# 定义空df，以装载处理完的数据
self.excel_df = DataFrame(columns=EXCEL_COLUMNS)
self.index = index
self.start_page = start_page
self.end_page = end_page
self.async_flag = async_flag
# 以下A、B两种创建driver方式二选一
# A.创建没有chrome弹框的driver驱动；注意：此种情况有可能出现无法下拉页面、点击下一页等操作
# # 创建chrome参数对象
# opt = webdriver.ChromeOptions()
# # 把chrome设置成无界面模式，不论windows还是linux都可以，自动适配对应参数
# opt.set_headless()
# driver = webdriver.Chrome(options=opt)
if not driver:
# B. 创建传统driver
driver = webdriver.Chrome()
# 要先打开URL，再添加cookie;但此链接可能会被跳转passport.weibo.com登录页，因此要检测
driver.get(WB_PIYAO_URL_PAGE % self.start_page)
time.sleep(0.5)
# 必须要清除cookie再set，否则登录态不生效，无法翻页
driver.delete_all_cookies()
# print("cookie now:%s" % driver.get_cookies())
for cookie in cookies:
# print("driver%s 初始化cookie: %s" % (index, cookie))
driver.add_cookie(cookie)
driver.refresh()
time.sleep(3)
while not driver.current_url.startswith(WB_PIYAO_URL):
print("URL不对，需要刷新 URL=%s" % driver.current_url)
driver.get(WB_PIYAO_URL_PAGE % self.start_page)
time.sleep(3)
# 如果跳转到passport.weibo.com，必须再设一次cookies，才能真正登录态有效
print("再设登录态")
driver.delete_all_cookies()
for cookie in cookies:
driver.add_cookie(cookie)
driver.refresh()
print("=== driver%i[%i,%i] 启动成功" % (index, start_page, end_page))
self.driver = driver
def crawler_batch_wb_and_save_df(self):
"""
不断爬取所有微博内容数据，并存入excel_df最末端
:param driver:
:return:
"""
try:
# 没到本批的最后一页，则一直循环翻页
for page in range(self.start_page, self.end_page + 1):
self.page = page
# 1. 下拉3次至本页最底端，会出现分页按钮 需要拉到最底，以防selenium 出现 element not interactable 错误
for i in range(2):
print(" 分批爬虫:driver%i 下拉到最底端操作，第 %i 次 ..." % (self.index, i))
self.driver.execute_script("window.scrollTo(0,document.body.scrollHeight)")
# 为防止下拉时，新页面短时间加载不出来，让程序睡眠几秒等待
time.sleep(2)
# 补救措施：若3次下拉还不能到最底，还需再循环
while not util.is_element_exist_by_css_selector(self.driver, "div[class='W_pages']"):
print(" 分批爬虫:driver%i 没下拉到最底端，再次下拉..." % (self.index))
self.driver.execute_script("window.scrollTo(0,document.body.scrollHeight)")
# 为防止下拉时，新页面短时间加载不出来，让程序睡眠几秒等待
time.sleep(1)
# 2. 下拉完毕，展示全部内容后，爬取此页微博数据，并添加入df中
self.__crawler_page_and_save_df()
# 有时候翻页会失败。在此做检查，看看微博页面中的页数是否为程序中的页数，如不一致则提示
wb_page_num = self.driver.find_element_by_css_selector(".W_pages>span>a").text
wb_page_num = wb_page_num[2:-2].strip()
if str(self.page) != wb_page_num:
print("程序页面：%s 与微博页面:%s 不匹配，可能有翻页出错的情况，请检查！" % (self.page, wb_page_num))
# 3. 检查是否有"下一页"按钮
w_page = self.driver.find_element_by_class_name("W_pages")
if "下一页" in w_page.text:
# 如果有“下一页”，则翻页至下一页
w_page_next = w_page.find_element_by_class_name("next")
# w_page_next.send_keys("\n")
# w_page_next.click()
# 要用如下写法先移动到button上，再点击，不然总是 ElementClickInterceptedException
webdriver.ActionChains(self.driver).move_to_element(w_page_next).click(w_page_next).perform()
# self.driver.execute_script("arguments[0].click();", w_page_next)
time.sleep(2)
else:
# 如果没有，则说明到了最后一页，整个爬取完成
print("分批爬虫:driver%i 已经到最后一页 %i，爬取微博完成" % (self.index, self.page))
break
else:
print("分批爬虫:driver%i 循环到最后一页 %i，爬取微博完成" % (self.index, self.end_page))
except:
print("分批爬虫:driver%i 出现问题! 先返回数据excel_df，可能不全" % self.index)
traceback.print_exc()
return self.excel_df
def __crawler_page_and_save_df(self):
"""
使用selenium工具爬取当前微博页面信息
:param page:
:return:
"""
wb_page_start_time = time.time() # 用于计时
wb_list = []
# print("开始爬取第 %i 页数据..." % page)
try:
# 1. 找出微博内容框架list，也就是每个微博内容块的集合
wb_cardwrap_list = self.driver.find_elements_by_class_name("WB_feed_type")
if self.async_flag:
# 多线程处理，每个线程解析一个微博内容框架，从中提取所需数据
wb_list = self.__async_crawler_weibo_info(wb_cardwrap_list)
else:
# 单线程处理
wb_list = self.__sync_crawler_weibo_info(wb_cardwrap_list)
except:
print("driver%i 爬取处理 第 %i 页html数据时出错! " % (self.index, self.page))
traceback.print_exc()
else:
print("driver%i 成功爬取第 %i 页数据，爬取有效微博数：%s, 处理本页数据耗时：%s " % (
self.index, self.page, len(wb_list), time.time() - wb_page_start_time))
# 不为空则写入df中
if wb_list:
self.excel_df = self.excel_df.append(wb_list)
def __async_crawler_weibo_info(self, wb_cardwrap_list):
"""
用多线程方式异步并发爬取微博内容
:param wb_cardwrap_list:
:return:
"""
wb_list = [] # 爬取到的微博信息整理后的储存list
thread_list = []
for wb_count in range(len(wb_cardwrap_list)):
# 多线程：约18秒左右处理完45条数据，比单线程串行36秒左右减少一半时间。 Python多线程是伪多线程
thread = util.WBCrawlerThread(util.crawler_weibo_info_func,
(wb_cardwrap_list[wb_count], self.page, wb_count))
thread_list.append(thread)
thread.start()
# 取结果
for thread in thread_list:
thread.join()
# 去除None
if thread.result:
wb_list.append(thread.result)
return wb_list
def __sync_crawler_weibo_info(self, wb_cardwrap_list):
"""
同步爬取微博数据
:return:
"""
wb_list = [] # 爬取到的微博信息整理后的储存list
for wb_count in range(len(wb_cardwrap_list)):
# 多线程：约16秒左右处理完45条数据，比单线程串行35秒左右减少一半时间。 Python多线程是伪多线程
etl_json = util.crawler_weibo_info_func(wb_cardwrap_list[wb_count], self.page, wb_count)
if etl_json:
wb_list.append(etl_json)
return wb_list
此类中的爬取逻辑与之前Crawl类中的爬取逻辑类似，只是多了piece前后页面的判断，而非像之前总会从第一页开始，一直爬取到最后一页了；
并且此多线程类中，也仍可实现再多线程爬取页面内的数据，通过参数async_flag来控制（但博主自己试async_flag为true时，并没有性能提升的效果，可能是多线程下的效率已经饱和，也跟python本文伪并发有关）。
3. main.py
入口创建的对象是BatchCrawler对象，如下
if __name__ == '__main__':
# 网页爬取：分批处理，每批若干页
b_crawler = batch_crawl.BatchCrawler(4, 240, True)
crawl_handle.crawl_wb_and_write_excel(b_crawler)
以上即为selenium单页面内多线程爬取内容的改造
二. 程序执行
执行过程中，前面登录与单线程没区别；但当用户登录成功，下拉两次后，开始爬取时，可以看到启动了另外4个chrome页面，每个页面都在独立的爬取。
后台不再是按微博页面顺序、内部上下顺序依次爬取，而是每个driver下都在爬取与打印，后台打印日志的顺序也交错输出，可能出现第1页与第100页的微博，同时在提取数据。
三. 问题总结
- selenium爬取网页是模拟人操作页面浏览的方式，进行信息提取。因此实际执行中发现，如果程序执行find_element_by_XXX()、click()等查询和点击操作时，如果driver弹出的浏览器，有不限于如下的一些情况 (被最小化隐藏、被其他程序页面覆盖浏览器、要操作的对象还在滚动条区域内，没页面中显示、被其他可以click的标签比如消息提醒button布局覆盖、driver窗口被拉太瘦以至于下拉最底后js无法展示“下一页”按钮…)，则selenium的操作会无法生效，甚至报错can’t find element，导致程序异常。这个问题在电脑全屏打开其他窗口时尤其容易发生，例如在看pycharm后端日志、打开其他浏览器全屏搜索问题。
因此在程序运行时，请保持driver浏览器始终在最顶端，显示窗口足够大，并在中途不要操作，等待爬取完成；同时，driver浏览器窗口需要保持一定的大小，当触发登录点击按钮、下拉到最低端点击下一页按钮时，都需要在chrome浏览器内能肉眼观测到这个元素
对于多线程程序，最好只启动2个driver，或者用多块屏幕的电脑，将driver浏览器分散在多个屏幕中同时显示，保证每个driver浏览器不会全屏化，不会彼此覆盖，并在中途不要操作，等待爬取完成
- 同时开多个窗口可能会引起电脑性能不够，彼此难在窗口并排放置的情况。因此可以用如下方式让chrome窗口只在后台运行，不在前端展示，但此方法有一定概率让程序下拉和翻页失效，读者可以自行尝试决定是否启用
# A.创建没有chrome弹框的driver驱动；注意：此种情况有可能出现无法下拉页面、点击下一页等操作
# # 创建chrome参数对象
opt = webdriver.ChromeOptions()
# 把chrome设置成无界面模式，不论windows还是linux都可以，自动适配对应参数
opt.set_headless()
driver = webdriver.Chrome(options=opt)
- 博主笔记本为酷睿i5二核，测试时，分为4个drive进行多线程跑批。经测算，每个driver爬取时间为25s，结合下拉翻页耗时，每个页面耗时约33s。每个driver负责60页微博，则耗时约为1980s，折合0.55小时。因为每个driver并发，所以理论上每个driver耗时都为如此，整个项目耗时也差不多。但实际上因为机器性能有限、python伪多线程的问题，耗时会略有增加，基本需要0.7~0.9小时。
- 多线程程序涉及登录态cookie复制、多窗口多并发等问题，从实际执行结果来看稳定性并不如前面几种方法可靠。博主已尽量做到多种极端情况判断，提高了稳定性，但多线程程序仍以实验性质为主，读者尽量不采用此种方式来实际获取数据
- 本程序初稿编时间为2020年12月，整理发表时间为2021年3月20日，此时间点程序运行正常。但微博HTML页面会随时间而更新，因此有可能导致本程序selenium步骤执行失效。本程序旨在抛砖引玉，希望读者能从中获取灵感，开发出适合自己的版本
执行程序
项目工程编译了windows版本执行程序：微博数据采集python+selenium执行程序：WBCrawler.exe
-
执行项目前，需要下载selenium对应的浏览器驱动程序（driver.exe），并放在本机环境变量路径中，否则会报错。安装操作具体可见博客专题中的指导【二】
-
执行程序时，会在系统用户默认路径下，创建一个虚拟的python环境（我的路径是C:\Users\Albert\AppData\Local\Temp_MEI124882\），因此启动项目所需时间较长（约20秒后屏幕才有反应，打出提示），请耐心等待；也正因如此，执行电脑本身环境是可以无需安装python和selenium依赖包的；同时最后爬取保存的excel也在此文件夹下。
-
本项目采用cmd交互方式执行，因此等到屏幕显示：
选择爬取方式： 1. 移动版微博爬取 2. PC网页版微博爬取(单线程) 3. PC网页版微博爬取(页面内多线程) 4. PC网页版微博爬取(多线程异步处理多页面)
后，用键盘输入1~4，敲回车执行
- 此exe编译时，工程代码内编写的最终excel记录保存地址为：相对工程根路径下的excel文件夹；因此当本exe执行到最后保存数据时，会因为此excel文件夹路径不存在而报错。若在工程中将保存地址改为绝对路径（例如D:\excel\），再编译生成exe执行，则最终爬取数据可以正确保存
项目工程
工程参见：微博数据采集python+selenium工程：WBCrawler.zip
本专题内对源码粘贴和分析已经比较全面和清楚了，可以满足读者基本的学习要求。源码资源为抛砖引玉，也只是多了配置文件和一些工具方法而已，仅为赶时间速成的同学提供完整的项目案例。大家按需选择
1102
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
