一个例子,使用curl 命令发送请求,一些需要登录鉴权的网站使用cookie的,可以添加cookie到请求中。
#添加自己的cookie
ck=""
#设置分页大小
ps=10
# 多次请求
for i in $(seq 1 2)
do
url="$uri?&page_idx=$i&page_size=$ps"
echo "url: $url"
#发送请求,--cookie设置cookie,-H 设置header
# 返回的内容有压缩的,使用gunzip进行压缩
#结果保存到res.txt中
curl "$url" --cookie "$ck" -H "Accept-Encoding: gzip" | gunzip > res.txt
sleep 1
done