python爬取小说代码_爬取小说（步骤一）python

假设各位老哥已经安装好了bs4 requests这些库了

这个小说是随便挑的，各位也就不用太介意（仅供各位学习）

python3 实现，网上用python2做爬虫的太多了，但用python3的还是比较少

爬取的链接是https://www.qu.la/book/12763/10664294.html

代码长度：20行（包括了为了好看而做的东西）

主要问题是：gbk编码问题

注意看下一个with那，调一个自己一个有的地址就好了（至于txt文件，那个是可以自动新建的，不用担心）

第一步 实现了对单一章节的网页的爬取并存储

代码如下：

import requests

from bs4 import BeautifulSoup

url = "https://www.qu.la/book/12763/10664294.html"

req = requests.get(url)

req.encoding = 'utf-8'

soup = BeautifulSoup(req.text, 'html.parser')

content = soup.find(id='content')

with open('E:/Code/Python/Project/txtGet/1.txt', 'w') as f:

string = content.text.replace('\u3000', '').replace('\t', '').replace('\n', '').replace('\r', '').replace('『', '“')\

.replace('』', '”') # 去除不相关字符

string = string.split('\xa0') # 编码问题解决

string = list(filter(lambda x: x, string))

for i in range(len(string)):

string[i] = ' ' + string[i]

if "本站重要通知" in string[i]: # 去除文末尾注

t = string[i].index('本站重要通知')

string[i] = string[i][:t]

string = '\n'.join(string)

print(string)

f.write(string)