python：利用20行代码爬取网络小说

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

前言

今天，来给大家一个分享一下如何使用20爬虫行代码爬取网络小说（这里我们以龙族为例）

一、爬虫是什么？

爬虫（又被称为网页蜘蛛，网络机器人）就是模拟客户端（如浏览器、App）发送网络请求，接收请求响应，然后按照一定的规则，自动的从响应中提取出需要的数据。

二、实现过程

1.首先，我们来了解一下步骤
1模仿浏览器请求服务器，从而获取数据
2用requests模块对请求的网页进行分析，提取含有数据的标签
3将获取到的数据进行统一编码，并保存
2.代码实现
1首先我们导入需要使用到的模块，

#导入模块
import requests
import parsel

2然后复制我们需要爬取的网站，赋值给变量
这里headers的赋值需要到网页中，将鼠标置于空白处，然后点击检查，然后复制下图画圈内容粘贴即可

url1=('https://www.kunnu.com/longzu/lz-3-2/')
#这里类似于模拟计算机对服务器发送请求
headers1={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.114 Safari/537.36 Edg/89.0.774.68'}

3通过parsel模块请求进行对网站进行解析成固定的形式

data=requests.get(url=url1,headers=headers1).text
#print(data)
data_1=parsel.Selector(data)
#print(data_1)

4在网页的源代码中，我们可以看出其标题和内容分别是放在title和href中，因此我们对其进行提取

titles = data_1.xpath('//div[@class ="book-list clearfix"]//ul/li/a/@title').getall()
hrefs = data_1.xpath('//div[@class ="book-list clearfix"]//ul/li/a/@href').getall()

5提取内容标签下的内容，在工程区域鼠标右键创建一个文件，对爬取的数据进行写入

for i in range(len(titles)):#对获取到的章节进行遍历，并循环
    print(titles[i],hrefs[i])
    resp = requests.get(hrefs[i])
    result = parsel.Selector(resp.text)#利用parsel对网页的数据进行解析并赋值
    ps = result.xpath('//div[@id ="nr1"]//p/text()').getall()#提取p标签下的文本信息
    # print(div)
    #对各章节的文本内容遍历
    text = ''
    for p in ps:
        print(p)
        # p = str(p).replace('\xa0','')
        text += (p + '\n')#提示循环，并添加换行操作
    #创建一个“龙族”的空文件，用以对数据进行写入
    with open("龙族/{}.txt".format(titles[i]),'w',encoding='utf-8') as f:
        f.write(text)#写入

6最后一下就是我们爬到的小说

总结

那么，通过简单的20行简答的代码，我们就对该网站的瞎说进行了爬取。小伙伴们也赶快试一下吧