万能小说爬虫公式

#万能小说爬虫公式

 

#以下几行为导包

from time import sleep

from selenium import webdriver

from selenium.webdriver.chrome.options import Options

from selenium.webdriver.chrome.service import Service

from selenium.webdriver.common.by import By

#下面的是谷歌浏览器的驱动，把这个文件放到代码相同文件夹下

service = Service('chromedriver.exe')

#设置无头浏览器，隐藏爬取过程

# options = Options()

# options.add_argument('--headless')

# driver = webdriver.Chrome(service=service,options=options)

 

#不隐藏爬取过程

driver = webdriver.Chrome(service=service)

 

def chapter_downloder(url):

    """

    下载指定的章节

    :param url:章节地址

    :return:

    """

    sleep(1)

    driver.get(url)

    #获取章节标题

    title = driver.find_element(By.TAG_NAME,'h1').text