python爬虫学习第二讲-CSDN博客

本文链接：https://blog.csdn.net/Jaydenzuo/article/details/110957004

前导知识和urllib库

爬虫简介
爬虫网络请求模块
- urllib库

爬虫简介

爬虫的分类（常用）

通用网络爬虫 —— 如百度，谷歌等
聚焦网络爬虫 —— 根据既定目标有选择的抓取某一特定主题内容（学习内容）
增量式网络爬虫
深层网络爬虫

爬虫的相关知识

get请求

查询参数会在URL显示
不会对服务器产生影响

post请求

查询参数不会显示在URL内
会对服务器产生影响

URL —— 统一资源定位符

通常称URL为网址
URL语法
protocol://hostname[:port]/path/[;parameters][?query]#fragment
- 例：https://baike.baidu.com/item/URL%E6%A0%BC%E5%BC%8F/10056474?fr=aladdin#1
  - protocol（协议）—— 常用的协议有http，https，ftp等
  - hostname（主机名）—— 主机名前可以包含连接到服务器所需的用户名和密码（格式：username:password@hostname），如例：baike.baidu.com
  - port（端口号）—— 常用的协议不需要输入端口号如http是80，https是443
  - path（路径）—— 由零或多个“/”符号隔开的字符串，如例：item/URL%E6%A0%BC%E5%BC%8F/10056474
  - parameters（参数）—— 指定特殊参数的可选项
  - query（查询）—— 可有多个参数，用“&”符号隔开，每个参数的名和值用“=”符号隔开，如例：fr=aladdin
  - fragment（锚点）—— 可使用fragment参数直接定位到某一片断
浏览器会对URL进行编码。除英文字符、数字和部分符号外，其余全部使用百分号加十六进制进行编码，每个汉字由3个百分号的十六进制码组成

User-Agent —— 用户代理

用于记录用户的操作系统、浏览器等信息（为了更好的让用户获取html页面效果）
例：user-agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36 Edg/87.0.664.57

Referer

内容为当前页面的上一级页面
表明当前页面的请求从哪里过来的
一般也可以做为一个反爬的方式

常用状态码

200：请求成功
301：永久重定向
302：临时重定向
404：请求失败（服务器无法根据客户端请求找到资源）
500：服务器内部错误

开发者工具（抓包工具）简介

Elements —— 可以提取和分析数据（elements数据是最终展示的，需要配合源码进行分析）
Console —— 控制台
Sources —— 资源来源（整个网站加载的文件）
Network —— 网络工具（信息抓包），能够看到很多网页请求

爬虫网络请求模块

urllib库

urllib库介绍

为什么学习urllib
- 有些比较老的爬虫项目用的是这个模块
- 有时候爬取数据的时候需要urllib+requests
- urllib某些方面的作用比较强大 —— 如：图片

# requests版本
import requests
url = 'http://i.52desktop.cn:81/upimg/allimg/0910/200910914582325077801.jpg'
req = requests.get(url)
with open('photo.png','wb') as f:
	f.write(req.content)

# urllib版本
from urllib import request
url = 'http://i.52desktop.cn:81/upimg/allimg/0910/200910914582325077801.jpg'
request.urlretrieve(url,'photo.png')

版本
- python3中将urllib和urllib2合并为urllib

urllib.requst模块 —— 打开和读取URL

常用方法
- 变量（响应对象）= urllib.request.urlopen(‘网址’) —— 向网站发起一个请求并获取响应（不支持重构User-Agent），返回一个响应对象
- 变量（响应对象）.read() —— 获取字节流
- 变量（响应对象）.read().decode(‘utf-8’) —— 将字节流转换为字符串
  - 不能同时获取响应对象的字节流和字符串
  - 可以将字节流赋值给变量，用这个变量直接解码可获取字符串
- urllib.request.Request(‘网址’,headers=‘字典类型’) —— 支持重构User-Agent
- 变量（响应对象）.getcode() —— 获取状态码
- 变量（响应对象）.geturl() —— 获取url地址

获取数据流程

普通获取数据方法

获取响应对象（urlopen）
读取响应对象内容（read）、获取状态码（getcode）、获取URL地址（geturl）等操作

需要重构User-Agent

创建请求对象（构建User-Agent）
获取响应对象
获取响应对象内容、状态码、URL地址等

# 普通获取网页信息
import urllib.request
res = urllib.request.urlopen('https://www.baidu.com/')
print(res)		# 获取响应对象：<http.client.HTTPResponse object at 0x00000235D15FC8E0>
look = res.read()	# 获取字节流b'<html>\r\n......\r\n</html>'
see = res.read().decode('utf-8')	# 为空 —— 不能同时获取字节流和字符串
print(look.decode('utf-8'))		# 获取字符串 <html> <head> ... </body> </html>

# urlopen不支持重构User-Agent
from urllib import request
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36'}
res = request.urlopen('https://www.baidu.com/', headers = headers)
# 结果 TypeError: urlopen() got an unexpected keyword argument 'headers'

# request.Requst支持重构User-Agent
from urllib import request
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36'}
url = 'https://www.baidu.com'
req = request.Request(url,headers = headers)	# 创建请求对象
res = request.urlopen(req)		# 获取响应对象
print(res.read().decode('utf-8'))	# <html> <head> <script> ... </script> </body> </html>

urllib.parse模块 —— 解析URL

常用方法
- 变量 = urllib.parse.urlencode(‘dict’) —— 用于编码中文字符，参数和返回结果为字典形式
- 变量 = urllib.parse.quote(‘str’) —— 用于编码中文字符，参数和返回结果为字符串形式

# 使用urlencode方式
import urllib.parse
keyword = {'wd': '老师'}
keyword = urllib.parse.urlencode(keyword)
print(keyword)		# wd=%E8%80%81%E5%B8%88

# 使用quote方式
import urllib.parse
keyword = '学生'
keyword = urllib.parse.quote(keyword)
print(keyword)		# %E5%AD%A6%E7%94%9F