今天做的练习是在网站上爬虫某一部小说,并将其存入到文档中~~
首先,按照上一次爬虫的步骤,获取到该小说目录页的url
url=“https://www.kanunu8.com/book2/10881/”
注:若print出该页内容为乱码时,因考虑到编码方式的转换;
在这次爬虫过程中,我们需要将编码进行转换,将其转换为gbk形式,所使用的语句如下:
txt=requests.get(url).content.decode(“gbk”)
具体实现代码如下:
过程中遇到过的错误:
expected string or bytes-like object 这是由于数据类型不匹配造成的
findall获取的为一个列表,而sub需要对字符串进行操作,所以此处需要现将列表中的字符串取出,再进行替换
接下来就是成果图了:
嗯嗯~~就是这样啦