爬取百度文库内容(Selenium+BeautifulSoup)

一，通过Selenium登录网页

  selenium操作游览器，需要先安装selenium,并下载与游览器匹配的驱动。具体可参考：使用selenium调用qq游览器(基于Chrome浏览器)。我在这里使用的是QQ游览器，使用的是chrome的驱动，QQ游览器本质上和Chrome没有太大区别。

#coding:utf-8
from selenium import webdriver
import time
# 伪装成iPhone，这样才能看到相应的html页面中的标签，才能进行爬取
options.add_argument('--user-agent=Mozilla/5.0 (iPhone; CPU iPhone OS 5_0 like Mac OS X) AppleWebKit/534.46 (KHTML, like Gecko) Version/5.1 Mobile/9A334 Safari/7534.48.3')
options.binary_location = r'D:\QQ游览器\QQBrowser\QQBrowser.exe'
driver = webdriver.Chrome(r'D:\anaconda_64anzhuang\chromedriver.exe', options=options)
driver.get('https://wenku.baidu.com/view/aa31a84bcf84b9d528ea7a2c.html')#获得页面

二，模拟点击继续阅读

 要爬取的页面内容太多，采用的是非静态页面，需要模仿鼠标点击加载出其他页面。其中find_element_by_xpath()的用法可参见：Selenium六 find_element_by_xpath()的几种方法

# 向下滑动，到有“继续阅读”的位置停止，选择class属性为foldpagewg-root的div元素
foldpagewg = driver.find_elements_by_xpath("//div[@class='foldpagewg-root']")
# https://blog.csdn.net/u012941152/article/details/83011110  foldpagewg-text-con
driver.execute_script('arguments[0].scrollIntoView();', foldpagewg[-1])
# 模拟点击，继续阅读
continue_read = driver.find_element_by_xpath("//div[@class='foldpagewg-icon']")
continue_read.click()

三，模拟点击加载更多

  爬取的页面内容较多，故模拟点击继续阅读后，又需要模拟点击加载更多。其中可能会出现可以通过find_elements_by_xpath()定位到相应元素，却不能进行click()的情况，可参考：