最简单的Python爬虫开发笔记(仅适用于不需要登录的静态页面抓取)
1.URL管理器(已经抓取的URL和未抓取的URL)
2.网页下载器(使用urllib2 Python 的自带的库)目的是将url对应的网页下载到本地
3.网页解析器(BeautifulSoap Python 的第三方插件)
URL管理器(最小功能范围)
防止循环抓取和重复抓取,例如页面之间项目指向就会循环
需要的功能:
1.添加新的url到未抓取的url集合中,还要判断这个url是否已经在容器中,如果已经在了那么就不能添加,防止重复和循环
2.获取一个待爬取的url,还要判断容器中是否还有待爬取的url,爬取完毕后将url从待爬取集合转为已爬取集合
url管理器实现方式:
1.将未爬取的和爬取的url集合都存放在Python的set集合中,因为set集合会自动去掉重复的元素
2.可以存在关系型数据库(如mysql)中,urls(url,is_crawled)两个字段,一个是url一个是是否已经被爬取了
3.可以存放在缓存数据库(如redis)中,依然是用set存放
一般的大公司都使用缓存数据库,性能比较高
小公司可以使用关系型数据库,可以永久存放
网页下载器:(核心组件)
将网页下载到本地,存为html或是字符串的形式
大概有两种:
1.urllib2
这个是Python官方提供的基础模块
2.request
是第三方的包,功能更加强大
urllib2的三种下载网页的方法
1.最简洁的方法
代码如下:
import urllib2
#直接请求
response = urllib2.urlopen('http://www.baidu.com')
#获取状态码,如果是200表示获取成功
print response.getcode()
#读取内容
cont = response.read()
2.添加data和http header 生成一个request对象
代码如下:
import urllib2
#创建request对象
request = urllib2.Request(url)
#添加数据
request.add_data('a','1')
#添加http header
request.add_header('User-Agent','Mozilla/5.0')
#发送请求获取结果
response = urllib2.urlopen(request)
3.添加特殊场景的处理器
例如 一些需要登录的cookie操作 使用HTTPCookieProcessor
需要代理访问的网页 使用ProxyHandler
HTTPS协议保护的 使用HTTPSHandler
一些直接跳转的页面 使用 HTTPRedirectHandler
等等
代码举例 实现处理cookie的
import urllib2,cookielib
#创建一个cookie容器
cj = cookielib.CookieJar()
#创建一个opener
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
#给urllib2安装opener
urllib2.install_opener(opener)
#使用带有cookie的urllib2访问网页
response = urllib2.urlopen('http://www.baidu.com/')
只是为了了解爬虫这个东西以及如何使用Python实现简单的爬虫功能,没有过于强大的数据爬取功能以及其他的更高要求。
1.URL管理器(已经抓取的URL和未抓取的URL)
2.网页下载器(使用urllib2 Python 的自带的库)目的是将url对应的网页下载到本地
3.网页解析器(BeautifulSoap Python 的第三方插件)
URL管理器(最小功能范围)
防止循环抓取和重复抓取,例如页面之间项目指向就会循环
需要的功能:
1.添加新的url到未抓取的url集合中,还要判断这个url是否已经在容器中,如果已经在了那么就不能添加,防止重复和循环
2.获取一个待爬取的url,还要判断容器中是否还有待爬取的url,爬取完毕后将url从待爬取集合转为已爬取集合
url管理器实现方式:
1.将未爬取的和爬取的url集合都存放在Python的set集合中,因为set集合会自动去掉重复的元素
2.可以存在关系型数据库(如mysql)中,urls(url,is_crawled)两个字段,一个是url一个是是否已经被爬取了
3.可以存放在缓存数据库(如redis)中,依然是用set存放
一般的大公司都使用缓存数据库,性能比较高
小公司可以使用关系型数据库,可以永久存放
网页下载器:(核心组件)
将网页下载到本地,存为html或是字符串的形式
大概有两种:
1.urllib2
这个是Python官方提供的基础模块
2.request
是第三方的包,功能更加强大
urllib2的三种下载网页的方法
1.最简洁的方法
代码如下:
import urllib2
#直接请求
response = urllib2.urlopen('http://www.baidu.com')
#获取状态码,如果是200表示获取成功
print response.getcode()
#读取内容
cont = response.read()
2.添加data和http header 生成一个request对象
代码如下:
import urllib2
#创建request对象
request = urllib2.Request(url)
#添加数据
request.add_data('a','1')
#添加http header
request.add_header('User-Agent','Mozilla/5.0')
#发送请求获取结果
response = urllib2.urlopen(request)
3.添加特殊场景的处理器
例如 一些需要登录的cookie操作 使用HTTPCookieProcessor
需要代理访问的网页 使用ProxyHandler
HTTPS协议保护的 使用HTTPSHandler
一些直接跳转的页面 使用 HTTPRedirectHandler
等等
代码举例 实现处理cookie的
import urllib2,cookielib
#创建一个cookie容器
cj = cookielib.CookieJar()
#创建一个opener
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
#给urllib2安装opener
urllib2.install_opener(opener)
#使用带有cookie的urllib2访问网页
response = urllib2.urlopen('http://www.baidu.com/')