如果你也听说过炫酷的爬虫,却一直没有成功实现自制的想法,这篇教程会帮上忙。
今天,咱们先来看一下如何制作一个能运行的极简爬虫。做中学。
DIY骨干爬虫-单网页版
首先下载 python 2,我们将制作一个名为骨干爬虫的Python爬虫程序:
爬虫是干嘛的?
是用来自动下载网络上东西的程序,不详细举例了。
爬虫的运行步骤
- 获取指定的网页的地址对应网页数据X
- 从X中用正则匹配出你需要的信息:
- 新网址Y:访问goto 1或保存(简单爬虫就不管啦,哈哈哈)
- 你需要的内容T:保存
- 需要获取的文件的路径P:保存
概念上的难点
- 如何爬?-遍历新网页保存本网页连接们的方式
- 获取信息-如何保存图片或者其他文件?有API,直接调用
你需要做的事情
- 找到你需要的文件(图片,rar随便什么)在网页中的地址
- 设计一个正则表达式匹配它
行动
无论你使用python2还是3,我给出两个版本的代码,你可以看到他们的区别很小
复制下面的内容到python2的编辑器里,运行。查看images里面的内容如果成功它里面会有一些图片:
#python 2.*的代码
from urlparse import urlsplit
from os.path import basename
import urllib2
import re
import requests
import os
import json
url = 'http://www.juemei.com/mm/'#你的网址
if not os.path.exists('images'):
os.mkdir("images")
#1. 伪装啊
header = {
'User-Agent': "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:34.0) Gecko/20100101 Firefox/34.0",
'Host': "www.baidu.com",#伪装来源,斗智斗勇
'Referer': url
}
#下载一个网页
url_content = urllib2.urlopen(url).read()
#正则匹配你要下载的文件网址
img_urls = re.findall('img .*?src="(.*?.jpg)"',url_content)
#循环处理匹配到文件网址
for img_url in img_urls:
try:
#获取循环网址之一的远程文件的数据
img_data = urllib2.urlopen(img_url).read()
#让它在本地的名字也是服务器上的名字
file_name = basename(urlsplit(img_url)[2])
#保存
output = open('images/' + file_name, 'wb')
output.write(img_data)
output.close()
#try except 一旦下载某个文件失败就跳过这个文件
except:
pass
Python3
#python 3.*
from urllib.parse import urlsplit
from os.path import basename
import urllib.request
import re
import requests
import os
import json
url = 'http://www.juemei.com/mm/'#你的网址
if not os.path.exists('images'):
os.mkdir("images")
#1. 伪装啊
header = {
'User-Agent': "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:34.0) Gecko/20100101 Firefox/34.0",
'Host': "www.baidu.com",#伪装来源,斗智斗勇
'Referer': url
}
#下载一个网页
url_content = urllib.request.urlopen(url).read()
url_content = url_content.decode('utf-8')
#正则匹配你要下载的文件网址
img_urls = re.findall('img .*?src="(.*?.jpg)"',url_content)
#循环处理匹配到文件网址
for img_url in img_urls:
try:
#获取循环网址之一的远程文件的数据
img_data = urllib.request.urlopen(img_url).read()
#让它在本地的名字也是服务器上的名字
file_name = basename(urlsplit(img_url)[2])
#保存
output = open('images/' + file_name, 'wb')
output.write(img_data)
output.close()
#try except 一旦下载某个文件失败就跳过这个文件
except:
pass
可能遇到的障碍
- 找不到requests
执行下面命令,来安装requests:
C:\Python27>python.exe -m pip install requests
如果你连pip都没有安装,你需要重新安装python2,并选中所有的勾。
- 找不到文件夹images
它在你保存的py文件的同目录下.
效果
下一节我们将探索以下内容: