安装Request
pip install requests
在pycharm 终端安装
如果感觉下载太慢 用国内镜像 百度 pip清华源
清华源地址
临时使用时 把some-package 换成你想要的包就可以
import requests
url = 'https://sogou.com/web?query=周杰伦'
res = requests.get(url)
print(res) #返回200
被拦截了 需要伪装成浏览器
找到访问该页面 请求头里的 ua
创建一个字典
处理反爬
小改进
import requests
query = input("请输入你要查找的信息")
url = f'https://sogou.com/web?query={query}'
dict ={
"User-Agent":"ozilla/5.0 (Macintosh; Intel Mac OS X 10.15; rv:104.0) Gecko/20100101 Firefox/104.0"
}
res = requests.get(url,headers=dict)
print(res.text)
有的网站上post请求 比如 fanyi.baidu.com
import requests
url = "https://fanyi.baidu.com/sug"
s= input("请输入你要翻译的英文单词")
dat = {
"kw":s
}
#发送post 请求
resp = requests.post(url,data=dat) # 将服务器返回的内容转换成json =》 dict
print(resp.json())
访问页面二次请求方式
第一次返回一个 框架
第二次返回数值
查看数据选择 xhr 模式
访问上面数据 选择 headers里的链接
url = "https://movie.douban.com/j/chart/top_list?type=24&interval_id=100%3A90&action=&start=0&limit=20"
参数太长 选择重新封装参数
双击选中 加引号
每次滚动都会加载20
只改变了 start
import requests
url = "https://movie.douban.com/j/chart/top_list"
parm = {
"type": "24",
"interval_id": "100:90",
"action":"",
"start": 20,
"limit": 20,
}
headers={
"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36"
}
resp = requests.get(url = url,params=parm,headers=headers)
print(resp.json())
resp.close();