python selenium和xpath实现控制谷歌浏览器爬取小说

标题下载谷歌浏览器版本对应的控制驱动

查看自己的谷歌浏览器驱动,找到浏览器>>设置>>帮助>>关于chrome。
浏览器驱动下载地址上下载对应的版本。
解压,然后将exe文件放在python的安装目录下的script目录下。(这里注意你当前pycharm的python解释器环境也在这个目录)

标题安装selenium三方库

命令行安装
pip install selenium

标题实现selenium和xpath结合控制浏览器下载小说

from time import sleep
from selenium import webdriver
#实例化一个浏览器驱动
chrome = webdriver.Chrome()
def getText(url):
    url=chrome.get(url)
    content = chrome.find_elements_by_xpath("//div[@class='title_txtbox']")
    text = chrome.find_elements_by_xpath("//div[@class='content']/p")
    with open("read.txt",mode="a+") as f:
        for i in content:
            f.write(i.text+'\n')
        for i in text:
  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值