python 爬虫基础知识

web请求过程分析

1. 服务器渲染：在服务器那边直接把数据和html整合在一起，统一返回给浏览器，在页面代码中中能看到数据
2. 客户端渲染  ：第一请求只要一个html骨架，第二次请求拿到数据，进行数据展示，在页面的代码中，看不到数据，
3. 要熟练使用浏览器抓包工具

requests函数

http常用的请求方法为：get,post

GET请求

get请求，指定url

resp=requests.get(url)

反爬，首先指定http 请求头的User-Agent:

headers参数一般是字典

dic ={
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.82 Safari/537.36"
}
resp=requests.get(url,headers=dic)

 get请求，指定url参数，一般使用params参数同样是字典

param={
    # "type_name":"喜剧",
    "type":"24",
    "interval_id":"100:90",
    "action":"",
    "start":0,
    "limit":20,
}
resp=requests.get(url=url,params=param)
print(resp.json())

POST请求

post一般提交表单，表单一般使用datas参数指定，同样也是字典数据

import requests
url='https://fanyi.baidu.com/sug'
s=input('请输入你要翻译的英文单词')
dat={
    'kw':s
}
#发送post请求，发送的数据必须放在字典中，通过data参数进行传递
resp=requests.post(url,data=dat)
print(resp.json())  #