python爬虫爬取小说网站

最新推荐文章于 2024-05-01 15:59:51 发布

mEngineerHub

最新推荐文章于 2024-05-01 15:59:51 发布

阅读量1.2k

点赞数

分类专栏： python 文章标签： python 爬虫

本文链接：https://blog.csdn.net/qq_36650546/article/details/103223567

版权

13 篇文章 0 订阅

订阅专栏

Requests库 Requests是用python语言基于urllib编写的，Requests 允许你发送 HTTP/1.1 请求，无需手工劳动。你不需要手动为 URL 添加查询字串，也不需要对 POST 数据进行表单编码。
OS库 os库是Python标准库，常用路径操作、进程管理、环境参数等几类。路径操作：os.path子库，处理文件路径及信息。进程管理：启动系统中其他程序。环境参数：获得系统软硬件信息等环境参数
BeautifulSoup库灵活又方便的网页解析库，处理高效，支持多种解析器。利用它不用编写正则表达式即可方便实现网页信息的提取。
aiohttp库 asyncio可以实现单线程并发IO操作。如果仅用在客户端，发挥的威力不大。如果把asyncio用在服务器端，例如Web服务器，由于HTTP连接就是IO操作，因此可以用单线程+coroutine实现多用户的高并发支持。
项目思路：

def get_html_content(url)

def get_class_book_url_list(content))

async def download_book(url,path,name)

def download_book_list(class_books)

async def download_chapter(text_file,url,node)

def chooice_tags(tags)

可以进我的github下载源代码：python爬虫爬取小说

关注