robots协议:网站通过robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取,通用网络爬虫需要遵守robots协议(君子协议)
https://www.taobao.com/robots.txt
一. urlopen(url, 超时时间)
作用: 向网站发起请求,并获取响应内容
1. 第一个爬虫程序
'''向百度发送请求,得到响应内容'''
# from urllib import request
import urllib.request
# urlopen() :向url发请求,返回响应对象
# 地址后的 / ,必须写
# res为对象
res = urllib.request.urlopen('http://www.baidu.com/')
# 提取响应内容
# 1. html为字符串(特别长)
tes = res.read() # bytes类型
html = res.read().decode() # string
url = res.geturl() # 返回实际数据的url地址
code = res.getcode() # 返回http响应码
# 打印响应内容
print(html)
2. 重构User-Agent
问题: 使用python爬虫的User-Agent会显示python信息,这样是不行的
我们需要重构User-Agent,发请求时带着User-Agent过去,但是 urlopen()方法不支持重构User-Agent
二. Request( url, 请求头)
请求头: 爬虫和反爬斗争的第一步
作用: 创建请求对象(包装请求,重构User-Agent,使程序更像正常人类请求)
User-Agent: 百度搜索(常见User-Agent大全,搜索真实的User-Agent)
1. 包装请求头
from urllib import request
# 定义常用变量
url = "http://httpbin.org/get"
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36 OPR/26.0.1656.60"}
# 1. 创建请求对象(重构User-Agent) -并未真正发送请求
req = request.Request(url=url, headers=headers)
# 2.urlopen() :发送请求获取响应对象
res = request.urlopen(req)
# 3. 提取响应内容
html = res.read().decode() # string
print(html)
三. URL地址编码模块
作用: 给URL地址中查询参数进行编码
编码前: https://www.baidu.com/s?wd=美女
编码后: https://www.baidu.com/s?wd=%E7%BE%8E%E5%A5%B3
两种语法:
urllib.parse.urlencode( {dict} )
urllib.parse.quote(string)编码
1. url 拼接参数的方法
①. 字符串相加
baseurl = 'http://www.baidu.com/s?'
params = 'wd=%E7XXXXX&pn=20'
url = baseurl + params
②. 字符串格式化(占位符)
params = 'wd=%E7XXXXX&pn=20'
url = 'http://www.baidu.com/s?%s' %params
③. format()方法
url = 'http://www.baidu.com/s?{}'
params = 'wd=%E7XXXXX&pn=20'
url = url.format(params)
2. urlencode()编码
from urllib import request # 请求模块
from urllib import parse # 编码模块
# 1. 拼接URL地址函数
def get_url(word):
baseurl = "http://www.baidu.com/s?"
# 编码+拼接
params = parse.urlencode({'wd': word})
url = baseurl + params
return url
# 2. 请求+保存
def write_html(url, word):
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36 OPR/26.0.1656.60"}
# 拿到响应内容
req = request.Request(url=url, headers=headers) # 添加请求头
res = request.urlopen(req) # 发送请求,获取响应
html = res.read().decode() # 读取响应
# 保存到本地
filename = word + '.html'
with open(filename, 'w', encoding='utf-8') as f:
f.write(html)
# 主程序入口
if __name__ == '__main__':
word = input('请输入要搜索的内容:')
url = get_url(word)
write_html(url, word)
3. quote()编码
# 只需要修改两句即可
baseurl = "http://www.baidu.com/s?wd="
# 编码+拼接
params = parse.quote(word)
四. 总结
1. urllib.request
# 1. 添加请求头
req = request.Request(url=url,headers=headers)
# 2. 发送请求,获取响应
res = request.urlopen(req)
# 3. 读取响应内容
html = res.read().decode()
2. 响应对象res方法
res.read() # bytes
res.geturl() # url
res.getcode() # 响应码
3. urllib.parse
# 1. 编码
parse.urlencode( {} )
parse.quote('')
# 2. 解码
parse.unquote('')