网络爬虫(Web Spider),又被称为网页蜘蛛,是一种按照一定的规则,自动地抓取网站信息的程序或者脚本。
爬虫流程:
1,先由 urllib 的 request 打开 Url 得到网页 html 文档
2,浏览器打开网页源代码分析元素节点
3,通过 Beautiful Soup 或正则表达式提取想要的数据
4,存储数据到本地磁盘或数据库(抓取,分析,存储)
下面以爬取 笔趣网 里面的小说为例:
整个逻辑我这里倒着来讲述;
下图是 一篇小说某个章节的正文内容,我们用 Chrome 浏览器打开后,右键 -> 检查 ,再按照下图操作;
从上图可以,看出 一篇小说的某个章节的正文在 <div class = ‘showtxt’> 的节点里面,知道这个规律之后,我们就可以开始码代码了;
def getContent(target):
req = requests.get(url = target)
# 这里注意 encode,否则可能乱码
html = req.text.encode(req.encoding, 'ignore')
bf = BeautifulSoup(html, "lxml")
# 找到所有 <div class = 'showtxt'> 节点
texts = bf.find_all('div', class_ = 'showtxt')
# 替换掉每个段落前面的 8个
texts = texts[0].text.replace('\xa0'*8,'\n\n')
return texts
上面这段代码是拿到某个章节的内容, 接下来看看 一篇小说的所有章节怎么拿到?
上图是 一篇小说的所有章节目录,从上面这个规律,可以发现就是 <div class = ‘listmain’> 里面的所有 <a> 标签;
def getZjUrl(bookurl):
zjlist = []
server = 'http://www.biqukan.com/'
req = requests.get(url = bookurl)
# 这里注意 encode,否则可能乱码
html = req.text.encode(req.encoding, 'ignore')
div_bf = BeautifulSoup(html, "lxml")
# 找到所有 <div class = 'listmain'> 节点
div = div_bf.find_all('div', class_ = 'listmain')
# 再在 div 里面找到所有 <a> 节点
a_bf = BeautifulSoup(str