requests库:请求
robots.txt:爬虫排除标准
Beautiful Soup:解析HTML页面
re:正则表达式
Scrapy框架
IDE
IDLE:自带
SublimeText:专业
Wing:调试功能,多人开发
Visual Studio & PTVS, PyCharm
数据分析,科学计算:Canop, Anaconda
Request库
r = requests.request(url, params=None, **kwargs)
Request——Response
1. Response属性:
status_code:200表示成功
text,url
encoding:如果header中不存在charset,则认为ISO-8859-1
apparent_encoding:备选编码(内容分析)
content:二进制形式,response.content.decode('utf-8')
代替text
2. 异常:
ConnectionError:连接错误
HTTPError
URLRequired:url缺失
TooMuchRedirects:重定向异常
ConnectTimeout:连接超时
Timeout:超时
r.raise_for_status()
, 不是200则引发HTTPError异常
try:
r = requests.get(url, timeout=30)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except:
return "产生异常"
3. HTTP协议:超文本传输协议,请求与相应模式,无状态协议,URL作为标识
操作:GET, HEAD, POST, PUT, PATCH, DELETE
URL:http://host[:post][path]
,存取资源的Internet路径,对应数据资源
host:主机域名或IP
port:端口号,缺省端口80
path:路径
**kwargs参数 | 说明 |
---|---|
params | 字典、字节序列,作为参数增加到url中 |
data | 字典、字节序列、文件对象,作为Request的内容POST |
json | JSON格式的数据,作为Request的内容 |
headers | 字典,HTTP定制头,模拟浏览器 |
cookies | 字典,CookieJar,Request中的cookie |
auth | 元组,支持HTTP认证功能 |
files | 字典类型,传输文件 |
timeout | 设定超时时间,秒为单位 |
proxies | 字典类型,设定访问代理服务器,可以增加登录认证(防追踪) |
allow_redirects | True/False,重定向开关 |
stream | 获取内容立即下载开关,True/False |
verify | 认证SSL证书开关,True/False |
cert | 本地SSL证书路径 |
属性:‘r.request.’ + headers,url
request.get(url, params=None, **kwargs)
request.head(url, **kwargs)
request.post(url, data=None,json=None, **kwargs)
request.put(url, data=None, **kwargs)
request.patch(url, data=None, **kwargs)
局部修改
request.delete(url, **kwargs)
协议
-
问题
规模:
小规模,网页 Requests
中规模,网站,系列网站,Scrapy
大规模,定制开发,全网
限制:来源审查(User-Agent),Robots协议
-
Robots协议
在根目录:/robots.txt
User-agent: * Disallow: /
遵守方式:爬虫自动识别或先看看(类人行为可考虑不遵守)
import requests
url = 'https://www.amazon.cn/gp/product/B01M8L5Z2Y'
try:
r = requests.get(url)
r.raise_for_status()
r.encoding = r.apparent_encoding
print(r.text[:1000])
except:
print('Fail')
# 错误分析
r.encoding = r.apparent_encoding
r.request.headers
# 假装是个浏览器
import requests
url = 'https://www.amazon.cn/gp/product/B01M8L5Z2Y'
try:
kv = {
'user-agent': 'Mozilla/5.0'}
r = requests.get(url, headers=kv)
r.raise_for_status()
r.encoding = r.apparent_encoding
print(r.text[:1000])
except:
print('Fail')
浏览器关键词
import requests
kw = {
'wd':'python'}
kv = {
'user-agent': 'Mozilla/5.0'}
r = requests.get('http://www.baidu.com/s', params=kw, headers=kv)
r.status_code
r.request.url
图片爬取:确定文件格式
import requests
path = r'C:\Users\Desktop'
url