问题场景
之后的项目需要爬虫抓取一些信息,找个例子练练手,特此记录。
环境介绍
Windows
Python2.7
IDEA15
通用抓取流程
本文思路
1、给爬虫一个目标即网页地址及参数
2、设置一些必要的参数
3、抓取网页源代码
4、提取数据
5、保存数据(本文是保存在文件里,多数是存在数据库里)
目标
CODE
#!/usr/bin/env python
# -*- coding: UTF-8 -*-
import urllib2
import re
import os
class Spider:
# 构造方法
def __init__(self, url, headers):
self.url = url
self.headers = headers
def spider(self, page, pattern):
# 一共13页
for i in range(1, page):
# 抓取过程
# 1、访问其中一个网页,抓取源代码
try:
request = urllib2.Request(url=self.url % str(i), headers=self.headers)
response = urllib2.urlopen(request)
content = response.read()
except urllib2.HTTPError as e:
print e
exit()
except urllib2.URLError as e:
print e
exit()
# 2、提取你的数据
regex = re.compile(pattern, re.S)
items = re.findall(regex, content)
# 3、保存数据
path = 'qiubai'
if not os.path.exists(path):
os.makedirs(path)
file_path = path + "/qiubai" + str(i) + ".txt"
file = open(file_path, 'w')
for item in items:
# 把\n去掉,<br/>换成\n
item = item.replace('\n', '').replace('<br/>', '\n')
item += "\n\n"
file.write(item)
file.close()
if __name__ == '__main__':
url = 'https://www.qiushibaike.com/text/page/%s/'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.110 Safari/537.36'}
# 结合你的网页写表达式
pattern = '<div class="content">.*?<span>(.*?)</span>.*?</div>'
s = Spider(url, headers)
s.spider(14, pattern)
结果截图
结果文件夹
结果文件