几个概念----前导知识

HTTP的请求模型

General
Request Headers

get和post方法

1.get

一般情况下,只从服务器获取数据,没有对服务器产生影响,通常情况下都是get请求,请求参数可以在url地址上显示出来

2.post

有道翻译
向服务器发送数据(登录,上传文件。。。)会对服务器产生影响那么通常都是使用的是post请求,请求参数不会在URL地址显示出来

URL
1.https
2.anchor 锚点

User-Agent

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4503.5 Safari/537.36
作用:记录了用户的浏览器的操作系统,为了让用户获得个好的获取HTML页面效果
一般会作为反反爬 的第一步

import requests
url = 'https://www.baidu.com/'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4503.5 Safari/537.36'
}
response = requests.get(url, headers=headers)
header = response.request.headers
print(header)

Referer: 表明当前的url是从那个url过来的,通常也是反反爬的一种

豆瓣top250
https://movie.douban.com/top250
:https://movie.douban.com/subject/1292052/

cookie

记录用户相关的信息
HTTP协议本身无状态,服务器无法判断用户的身份
爬虫里的作用:1.反反爬的作用 2. 模拟登录

状态码

重定向
301:永久重定向
302:临时重定向

抓包工具(谷歌浏览器自带)

element:元素
Console:控制台 后期分析js代码的时候找规律
Sources资源 分析js代码用,可以打断点,调试
NetWork :数据抓包

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值