基于Python实现的网络爬虫项目——多线程下载小说并保存为txt文件（包含完整代码及注释）

最新推荐文章于 2024-02-10 13:44:20 发布
最新推荐文章于 2024-02-10 13:44:20 发布
阅读量1.7k 收藏 8
点赞数 1
分类专栏： 笔记 文章标签： 爬虫 python 数据挖掘
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Ljg929292/article/details/121864741
版权

基于Python实现的网络爬虫项目——多线程下载小说并保存为txt文件（包含完整代码及注释）

本学期由于课程的需要，对于python的网络爬虫进行了简单的学习，
然后帮助一个朋友写了一个课程作业，实现了一个简单的网络爬虫项目——多线程下载小说并保存为txt文件。

下面我将对该项目的完成进行一个详细的讲解。

一、确立预期目标

实现一个输入小说的名字后自动对该小说对应的资源进行查找，并进行小说所有章节的下载，将下载的小说按章节保存为txt文档。本次爬虫选取的网站为https://www.xbiquge.la/xiaoshuodaquan/（笔趣阁小说网站小说大全页面）

二、完成项目所需工具

环境：python3.8.5
编译器：pycharm2021
爬取网页url:https://www.xbiquge.la/xiaoshuodaquan/
所需的python库：
import requests
from bs4 import BeautifulSoup
import re
import time
import threading
import os

三、项目需要解决的问题

问题一

获取所有小说的资源库，包括拥有的小说的名字和小说所有章节对应的网页

问题二

获取要下载的小说的所有章节资源，包括章节名字和章节内容对应网页

问题三

获取章节内容后对内容中的小说文本进行提取和筛选

问题四

保存章节内容

问题五

多线程同时进行多个章节的获取和保存

问题六

下载完一本小说后可以自主选择程序结束运行或继续进行另一本小说的下载

四、对应问题解决方法

问题一解决方法及思路

本次我们选取的网站为https://www.xbiquge.la/xiaoshuodaquan/
该网站有笔趣阁中所有小说的名称和对应链接，该链接网页如下图所示
笔趣阁网页小说大全页面
查看页面源代码我们发现所有的小说名字和其对应章节都在div id="main"这个分组下，如下图所示：
在这里插入图片描述
因此，我们只需要将该页面源码中

分组下的内容爬出并将小说名字和小说内容对应的链接存储下来即可。这里采用字典存储，键值对分别对应小说名字和小说内容所在的链接，存储在字典 namelist中。
我们只要先获取对应的网页所有的html原码，然后对其进行筛选即可
获取html原码的方法我们采用requests函数，想要详细了解resqests函数的同学可以查阅相关材料进行学习，我们这里只需要简单的get方法获取html原码文本即可。
函数代码如下所示（这个函数我们会多次用到，因为我们对网页中内容的筛选和各种操作都是基于在html文本文件下进行的）： 

def getpage(url):
    '''

    输入：url种子
    功能：获取html原码
    返回值：html原码文本

    '''
    headers = {
        'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36 Edg/95.0.1020.44'
    }
    page = requests.get(url=url,params=headers)
    page.encoding='utf-8'
    return page.text

然后我们可以用以下函数提取所有小说的名字和对应链接：

def getnovels(html):
    '''

    输入：已经获取的html网页原码
    功能：获取网站中所有资源的小说名字和对应网址
    返回值：小说名称——对应网址键值对字典

    '''
    soup = BeautifulSoup(html,'lxml')
    list = soup.find('div',id='main').find_all('a')
    # 字典键值为小说名字，值为：小说对应的网址
    namelist = {}
    for l in list:
        namelist[l.string] =l['href']
    return namelist

问题二解决方法及思路

获取了所有小说的所在链接之后，我们便可以输入我们想要下载的小说的名字，然后程序便会在 namelist中检索该小说名字，获取小说所有内容对应的网页链接。这里我们以《万相之王》为例
万象之王的链接为https://www.xbiquge.la/55/55945/，网页内容如下图所示
万象之王小说内容网页页面
下面我们分析网页原码，从而来讲对应每个章节内容所在的链接爬取出来，网页源码如下图所示
万象之王网页源码
我们发现所有章节及其链接都存储在分组div id="list"下。用解决问题一的类似方法，我们将该小说的所有章节和对应的链接爬取出分别存储在数组chaptername和chapteraddress中，同时创建一个字典chapternameidx来存储每个章节名字对应的是第几章，键值对对应的是该章节的顺序数和名字（这里是为了方便对下载的所有章节进行排序），而我们采用两个数组的作用是为了我们后续进行多线程操作，这里不再细说，后边会提到，值得注意的是，为了方便我们进行多线程操作，这三个变量都是全局变量。在这里我们只要明白我们的主要目的是为了获取我们想要下载的小说的所有章节名字和其内容对应的链接就可以了，示范函数代码如下：

def getchapter(html):
    '''

    输入：html网页原码
    功能：获取小说所有章节以及地址
    返回值：章节名字，和对应网址

    '''
    soup = BeautifulSoup(html,'lxml')
    try:
        #章节列表
        alist = soup.find('div',id='list').find_all('a')
        for list in alist:
            #章节名字
            name=list.string
            chaptername.append(name)
            #章节网址
            href = 'https://www.xbiquge.la'+list['href']
            chapteraddress.append(href)
        for i in range(0,len(chaptername)):
            chapternameidx[chaptername[i]]=(i+1)
        return True
    except:
        print('未找到章节')
        return False

问题三解决方法及思路

得到了所有的章节和对应链接后我们便可以获取章节内容了，我们爬取的章节内容所在的html文本中除了我们需要的章节内容外还有其他无关的东西，我们需要做的就是将文本内容提取出来
我们可以看到html原码中文本内容所在的格式如下图所示
第一章文本内容
因此我们首先将id='content’中的文本提取出来，这里我们选用正则表达式来进行提取，我们获取的原始文本内容格式如下图所示
原始文本文件
我们发现除了我们需要的内容外还存在一些内容之外的符号（主要存在与段落之间），因此我们用正则表达式将这些不需要的内容删除，并替换换行符来进行分段操作来方便我们保存为txt文件后的阅读体验。初步处理结果如下图所示：
初步处理结果
这时我们发现文本内容大体上已经满足了我们的预期目标，但是我们发现文章结尾部分的广告内容是小说内容之外的，因此我们需要将符号<p之后的内容全部删除。这样我们就能得到纯净的小说章节文本内容了
该阶段示例函数测试代码如下（这里是一个独立的在写代码时进行测试的主函数，在完整代码中该部分会被简化为一个内部函数）：

import re
import requests

if __name__=='__main__':
    '''
    输入：章节内容所在网页的原码
    功能：将源码中的章节内容提取出来
    返回值：将内容文本返回
    :param html:
    :return:
    '''
    target = 'https://www.xbiquge.la/55/55945/23396080.html'
    req = requests.get(url=target)
    # 正则只获取正文
    p = r'id="content"(.*)'
    req.encoding = "utf-8"
    try:
        content = ''
        texts = re.findall(p, req.text)
        print(texts)
        # text=re.findall('[\u3002\uff1b\uff0c\uff1a\u201c\u201d\uff08\uff09\u3001\uff1f\u300a\u300b\u4e00-\u9fa5]',str(texts))
        # content=''.join(text)
        # 删除html原码中的&nbsp、;、<br />
        pattern = r'(&nbsp)|(;)|(<br />)'
        texts2 = re.sub(pattern, '', str(texts))
        print(texts2)
        pattern2 = r'(\\r\\r)'
        texts3 = re.sub(pattern2, ('  ' + '\n'), str(texts2))
        print(texts3)
        pattern3 = r'(\')|(>)'
        texts4 = re.sub(pattern3, (''), str(texts3))
        print(texts4)
        for i in texts4:
            if i == '[':
                continue
            elif i != '<':
                content = content + i
            else:
                break
        print(content)
    except: print('出错')

问题四解决方法及思路

获取了纯净的文本内容之后，我们将纯净的文本内容保存到txt文档中之后我们便完成了一个章节的下载。这里就采用简单的文件写入就可以了，操作如下：

file = open(path, 'w')
file.write(content)
file.close()
# 保存文件

正常来说只要进行一个章节一个章节的下载我们就可以将一本小说全部下载完成了，但是如果章节过多这样下载的速度就比较慢了，因此，我们可以采用多线程下载的方法来提升下载速度

问题五解决方法及思路

多线程下载，同时进行多个章节的下载，最多同时进行多少个章节的下载取决于我们开启的线程数，这里创建线程我们采取简单的threading.Thread函数，该函数的主要参数(target是线程运行的函数，设置好创建的数量后我们只需要布置好target参数指代的函数，就能保证线程的正常运行，为了控制线程之间不产生冲突，这里便用到了我们在解决问题二时设置的两个全局变量：数组chaptername和chapteraddress。当每个线程在对这两个全局数组进行操作时，选择一个数组中的章节和对应链接后，数组便将被选中的名字和链接弹出，这样当其他线程同时操作该数组的时候便不会出现两个子线程同时进行一个章节的下载。
下面给出子线程创建和线程所操作的函数的代码
子线程创建：

threads = [threading.Thread(target=process(name,int(len(chaptername)))) for i in range(num)]
        # 创建number个线程

线程操作函数：

def process(name,Length):
    '''

    线程运行的函数,相当于run

    '''
    try:
        for i in range (0,len(chaptername)):
            name1=str(chaptername[i])
            #获取章节名字
            url=chapteraddress[i]
            #获取章节网址
            number = chapternameidx[name1]
            #获取位置
            chaptername.pop(i)
            chapteraddress.pop(i)
            # 弹出正在下载的名字和网址
            name2=str(number)+name1
            # 获取该章节内容并下载
            path = name + '\\'+name2+ '.txt'
            # 下载路径
            print(path)
            getdetail(path,name1,url,Length)
            #调用函数，下载并获取内容
    except:
        print('该子线程结束')

问题六解决方法及思路

当我们进行了一本小说的下载之后，如果我们想要再下载一本新的小说怎么办？
当然我们可以关闭程序重新运行来进行下载，但是这样的话我们会再次进行对网站中所有小说及其链接的保存，这样既浪费了运行时间，又导致该部分函数好像用处不大，毕竟这样一本一本的每次重新运行程序，还不如直接对小说所在网页进行爬取，没必要保存全部小说相关信息。因此，为了充分利用我们的字典 namelist，我们可以在一本小说下载完毕后根据我们的意愿来决定我们是否继续下载新的小说。那么，我们要怎么实现呢？我们可以写一个类似main函数的主体函数，每次下载完成一本小说后我们调用主体函数即可。
主体函数代码如下：

def Repetition():
    '''
    再次运行主体函数，保证可以持续运行本程序
    '''
    name = input('请输入想要下载小说的名字（不要有错别字哦）:\n')
    # 输入想要下载的小说的名字
    if name in novellist:
        print('已经找小说%s' % (name))
        url2 = novellist[name]
        # 获取该小说对应网址
        html2 = getpage(url2)
        # 获取对应的html原码
        getchapter(html2)
        # 获取小说每一个章节的名称和对应网址
        print('小说共%d章节' % (int(len(chaptername))))
        num = int(input('请输入要开启的线程数：'))
        print('start download')
        start = time.time()
        threads = [threading.Thread(target=process(name, int(len(chaptername)))) for i in range(num)]
        # 创建number个线程
        # 创建一个专属于小说name的文件夹
        try:
            os.mkdir(name)  # 创建保存验证码的目录
        except:
            print('文件夹已存在')
        # 线程
        for i in threads:
            i.start()
        for t in threads:
            t.join()
        print('主线程结束')
        end = time.time()
        print('小说下载结束，本次下载共耗时%fs' % (start - end))
        chaptername.clear()
        chapteraddress.clear()
        chapternameidx.clear()
        print(chaptername, chapteraddress, chapternameidx)
        jud = int(input('是否要继续下载新的小说？是请输入1，否请输入2'))
        if jud == int(1):
            Repetition()
        elif jud == int(2):
            print('本次小说下载到此为止，感谢您的使用')
        else:
            print('出错，本次下载结束')
    else:
        print('未找见该小说')
        jud = int(input('是否要重新输入小说名字或下载新的小说？是请输入1，否请输入2'))
        if jud == int(1):
            print('正在准备')
            Repetition()
        elif jud == int(2):
            print('本次小说下载到此为止，感谢您的使用')
        else:
            print('出错，本次下载结束')

五、完整代码及项目总结

首先给出我们的完整代码（包含详细注释）

import requests
from bs4 import BeautifulSoup
import re
import time
import threading
import os

#全局变量，三个个列表分别存储章节名字和内容所在页的网址
chaptername = []
# 存放小说章节名字
chapteraddress = []
#存始章节名字和对应章节数键值对，后续由这个来改变对应的章节号便于排序
chapternameidx={}
def getnovels(html):
    '''

    输入：已经获取的html网页原码
    功能：获取网站中所有资源的小说名字和对应网址
    返回值：小说名称——对应网址键值对字典

    '''
    soup = BeautifulSoup(html,'lxml')
    list = soup.find('div',id='main').find_all('a')
    # 字典键值为小说名字，值为：小说对应的网址
    namelist = {}
    for l in list:
        namelist[l.string] =l['href']
    return namelist

def getpage(url):
    '''

    输入：url种子
    功能：获取html原码
    返回值：html原码文本

    '''
    headers = {
        'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36 Edg/95.0.1020.44'
    }
    page = requests.get(url=url,params=headers)
    page.encoding='utf-8'
    return page.text

def getchapter(html):
    '''

    输入：html网页原码
    功能：获取小说所有章节以及地址
    返回值：章节名字，和对应网址

    '''
    soup = BeautifulSoup(html,'lxml')
    try:
        #章节列表
        alist = soup.find('div',id='list').find_all('a')
        for list in alist:
            #章节名字
            name=list.string
            chaptername.append(name)
            #章节网址
            href = 'https://www.xbiquge.la'+list['href']
            chapteraddress.append(href)
        for i in range(0,len(chaptername)):
            chapternameidx[chaptername[i]]=(i+1)
        return True
    except:
        print('未找到章节')
        return False

#获取章节内容
def getdetail(path,name,url,length):
    '''

    输入：章节内容所在网页的原码
    功能：将源码中的章节内容提取出来并保存
    返回值：报错

    '''
    target = url
    req = requests.get(url=target)
    p = r'id="content"(.*)'
    # 正则只获取正文
    req.encoding = "utf-8"
    try:
        content=''
        #content存储提取删选过滤完毕的正文内容
        texts = re.findall(p, req.text)
        pattern=r'(&nbsp)|(;)|(<br />)'
        # pattern 删除html原码中的&nbsp、;、<br />
        texts2=re.sub(pattern,'',str(texts))
        pattern2 = r'(\\r\\r)'
        # pattern2 将\r\r替换为换行
        texts3 = re.sub(pattern2, ('  ' + '\n'), str(texts2))
        pattern3 = r'(\')|(>)'
        #pattern3删除符号'和>
        texts4 = re.sub(pattern3, (''), str(texts3))
        #print(texts4)
        #输出初步过滤的正文
        for i in texts4:
            if i == '[':
                continue
            elif i != '<':
                #删除<号之后的无关内容
                content = content + i
            else:
                break
        if content != ']' and content !=' ':
            file = open(path, 'w')
            file.write(content)
            file.close()
            # 保存文件
        else:
            #当content内容为空时，重新运行函数，直到下载下来为止
            getdetail(path, name, url,length)
        return True
    except:
        print('出错')
        return False


def process(name,Length):
    '''

    线程运行的函数,相当于run

    '''
    try:
        for i in range (0,len(chaptername)):
            name1=str(chaptername[i])
            #获取章节名字
            url=chapteraddress[i]
            #获取章节网址
            number = chapternameidx[name1]
            #获取位置
            chaptername.pop(i)
            chapteraddress.pop(i)
            # 弹出正在下载的名字和网址
            name2=str(number)+name1
            # 获取该章节内容并下载
            path = name + '\\'+name2+ '.txt'
            # 下载路径
            print(path)
            getdetail(path,name1,url,Length)
            #调用函数，下载并获取内容
    except:
        print('该子线程结束')

def Repetition():
    '''
    再次运行主体函数，保证可以持续运行本程序
    '''
    name = input('请输入想要下载小说的名字（不要有错别字哦）:\n')
    # 输入想要下载的小说的名字
    if name in novellist:
        print('已经找小说%s' % (name))
        url2 = novellist[name]
        # 获取该小说对应网址
        html2 = getpage(url2)
        # 获取对应的html原码
        getchapter(html2)
        # 获取小说每一个章节的名称和对应网址
        print('小说共%d章节' % (int(len(chaptername))))
        num = int(input('请输入要开启的线程数：'))
        print('start download')
        start = time.time()
        threads = [threading.Thread(target=process(name, int(len(chaptername)))) for i in range(num)]
        # 创建number个线程
        # 创建一个专属于小说name的文件夹
        try:
            os.mkdir(name)  # 创建保存验证码的目录
        except:
            print('文件夹已存在')
        # 线程
        for i in threads:
            i.start()
        for t in threads:
            t.join()
        print('主线程结束')
        end = time.time()
        print('小说下载结束，本次下载共耗时%fs' % (start - end))
        chaptername.clear()
        chapteraddress.clear()
        chapternameidx.clear()
        print(chaptername, chapteraddress, chapternameidx)
        jud = int(input('是否要继续下载新的小说？是请输入1，否请输入2'))
        if jud == int(1):
            Repetition()
        elif jud == int(2):
            print('本次小说下载到此为止，感谢您的使用')
        else:
            print('出错，本次下载结束')
    else:
        print('未找见该小说')
        jud = int(input('是否要重新输入小说名字或下载新的小说？是请输入1，否请输入2'))
        if jud == int(1):
            print('正在准备')
            Repetition()
        elif jud == int(2):
            print('本次小说下载到此为止，感谢您的使用')
        else:
            print('出错，本次下载结束')


if __name__=='__main__':

    url = 'https://www.xbiquge.la/xiaoshuodaquan/'
    # 小说大全网址
    html = getpage(url)
    novellist=getnovels(html)
    # 获取所有小说的名单 以及信息，存储在字典novellist中,
    name = input('请输入想要下载小说的名字（不要有错别字哦）:\n')
    # 输入想要下载的小说的名字
    if name in novellist:
        print('已经找小说%s'%(name))
        url2=novellist[name]
        # 获取该小说对应网址
        html2=getpage(url2)
        # 获取对应的html原码
        getchapter(html2)
        # 获取小说每一个章节的名称和对应网址
        print('小说共%d章节' % (int(len(chaptername))))
        num=int(input('请输入要开启的线程数：'))
        print('start download')
        start=time.time()
        threads = [threading.Thread(target=process(name,int(len(chaptername)))) for i in range(num)]
        # 创建number个线程
        #创建一个专属于小说name的文件夹
        try:
            os.mkdir(name)  # 创建保存验证码的目录
        except:
            print('文件夹已存在')
        #线程
        for i in threads:
            i.start()
        for t in threads:
            t.join()

        print('主线程结束')
        end=time.time()
        print('小说下载结束，本次下载共耗时%fs'%(start-end))
        chaptername.clear()
        chapteraddress.clear()
        chapternameidx.clear()
        print(chaptername,chapteraddress,chapternameidx)
        jud=int(input('是否要继续下载新的小说？是请输入1，否请输入2'))
        if jud == int(1):
            Repetition()
        elif jud == int(2):
            print('本次小说下载到此为止，感谢您的使用')
        else:
            print('出错，本次下载结束')
    else:
        print('未找见该小说')
        jud = int(input('是否要重新输入小说名字或下载新的小说？是请输入1，否请输入2'))
        if jud == int(1):
            print('正在准备')
            Repetition()
        elif jud == int(2):
            print('本次小说下载到此为止，感谢您的使用')
        else:
            print('出错，本次下载结束')

代码运行后小说保存在代码所在路径下，结果如图所示：
运行结果
下载结果

上面便是本次项目的全部内容及代码
接下来对于本次完成该项目进行一个简单的总结和回顾：
1、这是自己第一次写这么长的博客，因此文章中如果有不合规范的语法或者错误欢迎大家指正
2、自己对与爬虫的学习不是很多，本文只是自己对于所学知识的一个简单运用，代码中也有许多需要优化的地方，欢迎大家一起交流讨论
3、本文中代码在下载某些小说的某些章节过程中，可能会出现部分章节下载失败的现象，下载过程中会反馈出错。但不会影响整体代码的运行。当前只在下载《深空彼岸》时出现过这样的错误，下载万相之王的过程中没有出现。
错误反馈如下图所示：
下载过程中的错误
我暂时还没有找到该问题的原因（可能是由于在文章内容提取过程中是按照万相的html原码分析的，而深空中部分地方和它有细微差别）。如果大家找到了问题所在还请能够告知交流一下，万分感谢。

好了，这篇博客的分享到这里就结束了，谢谢您的阅读！欢迎大家来交流指正！

将进酒23
关注
  • 1
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Python教程：一文掌握Python多线程（很详细）_python 多线程教程
2301_76323084的博客
04-21 1046
链图片转存中…(img-Odm1w7iU-1713669739824)]
Python: 一键下载小说（一）
Nnnn的博客
08-29 1009
前段时间写了个双引擎分章节下载存储小说的思路简述。对于一些没有特定的阅读器的小说迷来说，大量的章节文件是一件很麻烦的事儿。并且考虑到小说网站限速的问题，加上网络传输速度和硬盘读写速度的差距，这显得实际的意义不大。于是决定重写更简单的基础版的一键下载小说。将一本小说的多个章节合并存储在一个文本。只需一个简单的文本阅读器就可实现小说的轻松阅读。...
Python爬虫爬取小说并保存成txt文件
qq_44505308的博客
01-20 3458
本次学习级别为新手村学习，简单易懂，特别适合刚学习python的练手项目。请注意，本人提供的信息仅用于个人学习目的，并且不涉及公开或分享任何目标网站的相关链接或信息。爬取网站内容应遵守适用的法律法规、知识产权和隐私保护规定。**在未获得授权的情况下，不得非法获取、使用或传播他人的数据、信息或资源。**爬取操作应遵循合理的频率和并发量，以避免对目标网站造成过度负荷或干扰正常运营。**本人不对任何因违反上述规定而导致的法律责任或纠纷承担责任。**请确保你的行为符合相关法律法规，并尊重他人的权益和隐私。
Python爬虫案例——使用多线程和进度条实现某小说网站的全本下载
m0_72628462的博客
07-02 512
本案例主要使用Python爬取某小说网站的小说，网站已经过(base64)处理：aHR0cHM6Ly93d3cuMjNxYi5jb20v使用面向对象的方式实现多线程下载，并显示下载进度，从而实现全本下载。例如：以上就是今天要讲的内容，当然代码肯定还会存在些许不足，还需逐步完善。
50行Python代码实现自动下载小说，并打包exe直接
一名正义的白帽黑客
11-22 1254
50行Python代码实现自动下载小说，并打包exe直接
python资源.txt
06-22
本课程由python基础到高阶，html5，css，js，django全方位覆盖
Python爬虫下载小说
weixin_44371842的博客
02-10 5877
【代码】Python爬虫下载小说。
Python爬虫进阶之多线程爬取数据并保存到数据库
12-21
今天刚看完崔大佬的《python3网络爬虫开发实战》，顿时觉得自己有行了，准备用appium登录QQ爬取列表中好友信息，接踵而来的是一步一步的坑，前期配置无数出错，安装之后连接也是好多错误，把这些错误解决之后，找APP...
Python网络爬虫项目开发实战_并发下载_编程案例解析实例详解课程教程.pdf
05-03
【Python网络爬虫项目开发实战】中的并发下载技术是提高爬虫效率的关键。在传统的爬虫程序中，网页通常是顺序下载的，即一个网页下载完成后才会开始下一个网页的下载。这种方式在处理小型网站时可能足够，但对于大...
基于Python的招聘网站爬虫及可视化的设计与实现(论文下载)
04-08
1.5.1 Python语言 3 1.5.2 Flask框架 4 1.5.3 ECharts图表库 4 1.5.4 Jieba库 5 1.5.5 Pysql包 5 1.6 本章小结 5 第2章 系统设计 6 2.1 设计思想 6 2.2 需求分析 6 2.3 系统可行性分析 7 2.4 功能设计 7 2.4.1系统...
python 读写TXT文件
04-29
初学python 分享一个小程序：python 如何写入TXT文件！
python 写入TXT文件但不覆盖原有内容
04-29
前一篇write_txt文件 写入后会覆盖原来文件内容，变换参数后，可保留原文件内容，在文件最后增加新写入的内容！
网络爬虫.txt
06-21
heritrix网络爬虫的安装与使用
基于python的网络爬虫爬取天气数据及可视化分析python大作业（源码+文档说明）高分项目
最新发布
06-10
基于python的网络爬虫爬取天气数据及可视化分析python大作业（源码+文档说明）高分项目，高分项目期末大作业开发的97分高分设计项目，可作为高分课程设计和期末大作业的参考，含有代码注释小白也可看的懂，有能力的...
利用Python下载网络小说并保存到本地文件
HELLO WORLD
04-11 5687
利用Python下载网络小说并保存到本地文件
python：爬取网络小说，看这一篇就够了
Tom_Jerry__的博客
10-15 4709
代码的主要内容就是通过单个章节的链接获取到回复，之后找到居中格式的div ,获取其中的文本就是先说内容 这个时候我们将其写入到txt中，知道完成下载，其中延时是必须的，防止影响网站运行，从而导致踩缝纫机的风险。滤除第一种的时候，我们只需要将章节这个也加入判断即可，滤除第二种错误数据我们就需要强行固定序列了，比如我们强行让它从第一章开始。需要导入的第三方包有两个，是requests和BeautifulSoup,其中一个是用于网页请求的，一个是网页解析的。我们发现其中还是有两个我们不想要的数据。
python 多线程文件操作
冻梨不是梨的博客
08-02 4152
使用python 将在csv文件中的一百万条网址，写入mongo数据库中，这里使用多线程进行操作。直接贴上代码，如下： import os import threading #导入进程 import csv import time from Mongo_cache import MongoCache import win32com.client import winsound ...
Caught exception while loading file struts-default.xml - [unknown location]
llbullet2012524的博客
12-04 114
当我们Tomcat中同时有两个struts2项目时，就会出成上面的一个错误。请问这是为什么呢？是STRUTS2的BUG吗？
基于python的网络爬虫设计实用文档doc.doc
12-02
基于python的网络爬虫设计实用文档doc.doc

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值