爬虫简介
爬虫的分类(常用)
- 通用网络爬虫 —— 如百度,谷歌等
- 聚焦网络爬虫 —— 根据既定目标有选择的抓取某一特定主题内容(学习内容)
- 增量式网络爬虫
- 深层网络爬虫
爬虫的相关知识
get请求
post请求
URL —— 统一资源定位符
- 通常称URL为网址
- URL语法
protocol://hostname[:port]/path/[;parameters][?query]#fragment
- 例:https://baike.baidu.com/item/URL%E6%A0%BC%E5%BC%8F/10056474?fr=aladdin#1
- protocol(协议)—— 常用的协议有http,https,ftp等
- hostname(主机名)—— 主机名前可以包含连接到服务器所需的用户名和密码(格式:username:password@hostname),如例:baike.baidu.com
- port(端口号)—— 常用的协议不需要输入端口号如http是80,https是443
- path(路径)—— 由零或多个“/”符号隔开的字符串,如例:item/URL%E6%A0%BC%E5%BC%8F/10056474
- parameters(参数)—— 指定特殊参数的可选项
- query(查询)—— 可有多个参数,用“&”符号隔开,每个参数的名和值用“=”符号隔开,如例:fr=aladdin
- fragment(锚点)—— 可使用fragment参数直接定位到某一片断
- 浏览器会对URL进行编码。除英文字符、数字和部分符号外,其余全部使用百分号加十六进制进行编码,每个汉字由3个百分号的十六进制码组成
User-Agent —— 用户代理
- 用于记录用户的操作系统、浏览器等信息(为了更好的让用户获取html页面效果)
- 例:user-agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36 Edg/87.0.664.57
Referer
- 内容为当前页面的上一级页面
- 表明当前页面的请求从哪里过来的
- 一般也可以做为一个反爬的方式
常用状态码
- 200:请求成功
- 301:永久重定向
- 302:临时重定向
- 404:请求失败(服务器无法根据客户端请求找到资源)
- 500:服务器内部错误
开发者工具(抓包工具)简介
- Elements —— 可以提取和分析数据(elements数据是最终展示的,需要配合源码进行分析)
- Console —— 控制台
- Sources —— 资源来源(整个网站加载的文件)
- Network —— 网络工具(信息抓包),能够看到很多网页请求
爬虫网络请求模块
urllib库
urllib库介绍
- 为什么学习urllib
- 有些比较老的爬虫项目用的是这个模块
- 有时候爬取数据的时候需要urllib+requests
- urllib某些方面的作用比较强大 —— 如:图片
import requests
url = 'http://i.52desktop.cn:81/upimg/allimg/0910/200910914582325077801.jpg'
req = requests.get(url)
with open('photo.png','wb') as f:
f.write(req.content)
from urllib import request
url = 'http://i.52desktop.cn:81/upimg/allimg/0910/200910914582325077801.jpg'
request.urlretrieve(url,'photo.png')
- 版本
- python3中将urllib和urllib2合并为urllib
urllib.requst模块 —— 打开和读取URL
- 常用方法
- 变量(响应对象)= urllib.request.urlopen(‘网址’) —— 向网站发起一个请求并获取响应(不支持重构User-Agent),返回一个响应对象
- 变量(响应对象).read() —— 获取字节流
- 变量(响应对象).read().decode(‘utf-8’) —— 将字节流转换为字符串
- 不能同时获取响应对象的字节流和字符串
- 可以将字节流赋值给变量,用这个变量直接解码可获取字符串
- urllib.request.Request(‘网址’,headers=‘字典类型’) —— 支持重构User-Agent
- 变量(响应对象).getcode() —— 获取状态码
- 变量(响应对象).geturl() —— 获取url地址
获取数据流程
普通获取数据方法
- 获取响应对象(urlopen)
- 读取响应对象内容(read)、获取状态码(getcode)、获取URL地址(geturl)等操作
需要重构User-Agent
- 创建请求对象(构建User-Agent)
- 获取响应对象
- 获取响应对象内容、状态码、URL地址等
import urllib.request
res = urllib.request.urlopen('https://www.baidu.com/')
print(res)
look = res.read()
see = res.read().decode('utf-8')
print(look.decode('utf-8'))
from urllib import request
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36'}
res = request.urlopen('https://www.baidu.com/', headers = headers)
from urllib import request
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36'}
url = 'https://www.baidu.com'
req = request.Request(url,headers = headers)
res = request.urlopen(req)
print(res.read().decode('utf-8'))
urllib.parse模块 —— 解析URL
- 常用方法
- 变量 = urllib.parse.urlencode(‘dict’) —— 用于编码中文字符,参数和返回结果为字典形式
- 变量 = urllib.parse.quote(‘str’) —— 用于编码中文字符,参数和返回结果为字符串形式
import urllib.parse
keyword = {'wd': '老师'}
keyword = urllib.parse.urlencode(keyword)
print(keyword)
import urllib.parse
keyword = '学生'
keyword = urllib.parse.quote(keyword)
print(keyword)