2.1、HTTP基本原理
1、URI:统一资源标志符,包括:URL(网址):统一资源定位符,URN:统一资源名称
2、超文本hypertext:网页源码
3、HTTP和HTTPS:http(超文本传输协议);https是以安全为目标的http通道,简单讲是http的安全版,即在http下加入ssl层
4、http请求过程:
5、请求:
由客户端向服务端发起,可以分为4个部分:请求方法(Request Methon)、请求的网址(Resquest URL)、请求头(Request Headers)、请求体(Resquest Body)
(1)请求方法:常见的请求方法:1、GET 2、POST
GET: 通过URL网址传递信息,可以直接在URL网址上添加要传递的信息
POST:可以向服务器提交数据,是一种比较流行的比较安全的数据传递方式
PUT:请求服务器存储一个资源,通常要指定存储的位置
DELETE 请求服务器删除一个资源
HEAD 请求获取对应的Http报头信息
OPTIONS 可以获取当前Url所支持的请求类型
(2)请求网址:
即统一的资源定位符URL,它可以唯一确定我们想要的资源
(3)请求头
用来说明服务器要使用的附加信息,比较重要的信息有Cookie、Referer、User-Agent等
(4)请求体
一般承载内容是POST请求的表单数据,而对于GET请求,请求体则为空
6、响应
由服务端返回给客户端,可以分为三部分:响应状态码、响应头和响应体
(1)响应状态码:表示服务器的响应状态,如200表示正常访问,404表示未找到,500表示服务器错误
(2)响应头:包含了服务器对请求的应答信息
(3)响应体:响应正文的数据
2.2网页基础
1、网页组成
网页分为三大部分——HTML(骨架)、CSS(皮肤)和JavaScript(肌肉)。
(1)HTML(骨架):描述网页的语言,即超文本标记语言,不同的元素通过不同的标签来表示
(2)CSS,全称叠层样式表,是目前唯一的网页页面排版样式标准
(3)JavaScript是一种脚本语言,实现实时、动态、交互的页面功能
2、网页结构
title标签定义网页标题,body标签是显示在正文中的内容。div标签定义了网页中的区块,
3、节点
4、选择器
2.3爬虫基本原理
1、爬虫概述
(1)获取网页:获取网页源码
(2)提起信息:分析网页源码
(3)保存信息:文本、数据库
(4)自动化程序:代替人操作
2、能抓取的字符串:HTML代码、JSON字符串4、二进制数据等
3、JavaScript渲染页面
2.4、会话、cookies及会话维持
2.5代理:
本机通过服务器向网站发送请求,实现ip伪装
分类:
FTP代理用于访问FTP服务器,一般有上传、下载、缓存功能,端口一般为21、2121等
HTTP代理:用于访问网页,端口 一般为80、8080、3128等
SSL/TLS代理:用于访问加密网站、端口一般为443
RTSP代理:主要用于访问Real流媒体服务器,一般有缓存功能,端口一般为554
Telent代理:主要用于远程控住,端口一般为23
POP3/SMTP代理,一般收发邮件端口一般为110、25
SOCKS代理只单纯传递数据包,不关心具体协议和用法,速度快,端口一般为1080
常见代理:免费代理、付费代理和ADSL代理(拨一次号换一次IP)
学习python3,网络爬虫的过程(第二章爬虫基础)
最新推荐文章于 2024-07-24 16:36:32 发布