此博客是在学习了大神Jack-Cui的专栏Python3网络爬虫入门之后写的,代码也是在他的一篇博客代码上稍做了下改动,在这里感谢下大神,从他那里学了很多,向大神致敬。
实现的主要功能是从笔趣看上爬取小说《亵渎》,代码如下:
from urllib import request
from bs4 import BeautifulSoup
import re
import os
header = {
'User-Agent': 'Mozilla/5.0 (Linux; Android 4.1.1; Nexus 7 Build/JRO03D) App' \
'leWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.166 Safari/535.19'
}
content_url = "http://www.biq