Python爬虫之爬取某文库文章

说在前面的话:

本篇笔记准确地说应该是一篇改进版文章。
其来源于:Python爬取某库并存储为word文档
本文所爬取的文章url:简述基于MATLAB的循环码编译码器设计与仿真胡鑫
需要注意的是,源码中加入很多 time.sleep() 语句,其目的是防止被封IP,即更好的将机器伪装成人为操作。所以,在运行时速度缓慢,请在没有出现报错时,耐心等待。
如若侵权,联系即删

一、源码展示:

这是作者 鹏鹏写代码 文章中的源代码,当我们在运行时,会出现如下图所示的报错:

注:在运行时,我们除了所使用代码中的库时,还需用用到一个软件,即 chromedriver.exe。这是在使用 selenium 必备的。
其具体安装使用情况,详见:Pycharm中错误 ‘chromedriver‘ executable needs to be in PATH 解决

"""author

鹏鹏写代码
"""
import pandas
import selenium
from selenium.webdriver.common.keys import Keys
from selenium import webdriver
from docx.oxml.ns import qn  # 中文格式
from docx import Document  ##需要安装第三方库python-docx
from docx.shared import Pt  # 用于设置字体样式
import time



driver = webdriver.Chrome("C:\\Users\\Administrator\\AppData\\Local\\Google\\Chrome\\Application\\chromedriver.exe")
driver.get("http://wenku.baidu.com/view/9f9765542d60ddccda38376baf1ffc4fff47e26c")
time.sleep(5)
#为了避免百度页面变为旧版页面,需要刷新
driver.refresh()
time.sleep(2)
driver.execute_script("window.scrollTo(0,4004)");  #跳转到页面“阅读所有页面”的位置
driver.find_element_by_xpath("//div[@class='fold-page-text']").click()  #点击“阅读所有页面“
driver.execute_script("window.scrollTo(0,400)");  ####跳转到页面初始位置

#得到当前总页面
all_page = driver.find_element_by_xpath("//div[@class='goto-page']").text.replace("/ ", "")

result_text = ""
i = 1
while (i <= int(all_page)):
    driver.find_element_by_xpath("//input[@class='cur-page']").clear()  #清除输入值
    driver.find_element_by_xpath("//input[@class='cur-page']").send_keys(i)  #设置跳转页面编号
    driver.find_element_by_xpath("//input[@class='cur-page']").send_keys(Keys.ENTER, '\ue007')  # 回车键
    time.sleep(2)
    result_text = result_text + driver.find_element_by_xpath("//div[@id='pageNo-{0}']".format(i)).text  #得到页面的文本
    time.sleep(2)
    i += 1

result_text = result_text.replace("\n", "")
zf = 0
while zf <= 9:
    s = str(zf) + 
  • 2
    点赞
  • 15
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

catぁ

你的鼓励将是我今后创作的动力。

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值