python 爬虫笔记

简单的爬虫架构

调度端→URL管理器→网页下载器→网页解析器

网页解析器将有价值的数据传送到应用，无价值的返回给URL管理器

 

URL管理器

防止重复抓取，循环抓取

三种方式：

1.直接存放在内存

2.关系数据库（MySQL）

3.缓存数据看（redis）

 

网页下载器

将HTML以文件或字符串的形式存储

Python网页下载器有：

* urllib2 (Python官方基础模块)

* requests （第三方包，更强大）

python3中urllib 已经整合到一起，request也整合到urllib.request模块中了

 

urllib下载网页的三种方法：

import urllib.request
#直接请求
resp = urllib.request.urlopen('http://www.baidu.com')
#获取状态吗，200表示获取成功
print (resp.getcode())
#读取内容
cont = resp.read()

import urllib.request
#创建对象
req = urllib.request.Request('http://www.baidu.com')
#添加数据
urllib.request.data = ('a','1')
#添加http的header
req.add_header('User-Agent','Mozilla/5.0')
#发送请求获取结果
resp = urllib.request.urlopen(req)

特殊情境处理：

1.需要用户登录才能访问（HTTPCookieProcessor）

2.需要代理才能访问（ProxyHandler）

3.协议使用HTTPS加密访问（HTTPSHandler）

4.URL自动跳转（HTTPRedirectHandler）

import urllib
import http.cookiejar
#创建cookie容器
cj = http.cookiejar.CookieJar()
#创建1个opener
op = urllib.request.HTTPCookieProcessor(cj)
opener = urllib.request.build_opener(op)
#给urllib安装opener
urllib.request.install_opener(opener)
#使用带有cookie的urllib访问网页
resp = urllib.request.urlopen('http://www.baidu.com')

网页解析器

模糊匹配：

1.正则表达式(字符串)；

结构化解析：

2.html.parser;

3.BeautifulSoup,拥有2、4功能；

4.lxml;

转载于:https://www.cnblogs.com/nero3/p/7637854.html