1 爬虫基础
1.1 http原理
url格式规范:
sheme:协议。通常有http、https、ftp等
username、password:用户名和密码
hostname:主机地址
port:端口
path:路径。网络资源在服务器中的指定位置
paramenters:参数,访问资源的附加信息
query:查询,如果多个查询用&隔开
fragment:片段。资源内部的书签
http中文名为超文本传输协议,https是http的安全版,在http下加了层ssl
ssl的作用是建立安全通道,确保数据的安全性,确保数据的真实性
http请求的过程:浏览器向所在网站的服务器发送一个请求,网站服务器接收到请求后对其进行处理和解析,然后返回对应的响应,接着传回到浏览器中,响应包里包含页面的源代码内容。network监听组在访问请求网页时显示所有的网络请求和响应
分别是:请求的url,请求的方法,响应码,远程服务器地址和端口,判别策略
response heads和requests heads分别代表响应头和请求头,请求头包含很多信息,如浏览器标识,cookie,host等,
请求:分为四个部分,请求方式(get和post),请求网址,请求头,请求体
get:输入url回车发起一个get请求,请求的参数都在url中
post是在需要填写表单时发起,比如输入用户名和密码,数据通过表单进行传输
请求头:accept,accept-language,accept-encoding,host,cookie,referer:是从那个页面发过来的
user-agent:识别操作系统版本,浏览器版本等、content-type:互联网媒体类型
请求体:一般承载的内如是post表单数据
响应:服务器返回客户端,三个部分。响应状态码(200正常响应,404页面未找到),响应头,响应体
响应头:
响应体:网页的html
http2.0可以去了解一下
1.2 网页基础
1、网页组成:html(骨架)、css(肌肉)、javascript(皮肤)
htm:超文本标记语言,不同类型的标签标示不同类型的元素,
css:层叠样式表,样式指的是网页中文字大小、颜色、元素间距、排列格式等,后缀为css
javascript:交互动画效果
2、网页结构
body标签的内容要在网页正文中显示,div标签定义网页中的区块,非常常用的属性。
节点之间的关系
3、选择器
css会为不同的节点设置不同的样式,用css选择器定位节点。
可以根据id,class,标签名选择
1.3 session 和cookie
1.4代理
代理就是代理服务器,由代理服务器请求发送给web服务端,web服务端返回的响应,由代理服务器发送给客户端,
代理的作用:突破自身的ip限制,隐藏真实ip,提高访问速度,访问内部资源
代理的分类:根据协议划分,根据匿名程度划分
常见的代理设置:网上免费,付费代理服务,adsl拨号,蜂窝代理