xpath爬取笔趣阁小说

from lxml import etree
from fake_useragent import UserAgent
import requests
import os
# import re  # 重新下载功能有bug，该模块也不用导入了


def main():
    """主程序"""
    global story_url, story_name, title, url, title_name, url, failed_list  # 定义全局变量
    story_url = input('请输入小说连接：')  # 等待屏幕输入小说连接
    story_name = get_url(story_url).xpath('//div/h1/text()')  # 定位小说名称
    title = get_url(story_url).xpath('//dd//a[@href]/text()')  # 定位所有章节名
    url = get_url(story_url).xpath('//dl//dd//@href')  # 定位所有章节连接
    make_file_path(story_name[0])  # 以小说名创建文件夹
    save()  # 调用save（）函数
    print('下载完毕')
    print('------------------------------'