爬虫学习（二）

最新推荐文章于 2023-03-14 20:39:11 发布

小吴今天运动了吗

最新推荐文章于 2023-03-14 20:39:11 发布

阅读量428

点赞数

分类专栏： Python爬虫文章标签： python

本文链接：https://blog.csdn.net/weixin_41628764/article/details/116136456

版权

Requests模块

安装：pip install requests

镜像安装：pip install -i https://pypi.tuna.tsinghua.edu.cn/simple requests

一、代码：

import requests

def pracRequests():
    url = r'https://www.sogou.com/web?query=许嵩'
    resp = requests.get(url)
    ## 获得响应
    print(resp)
    print(resp.text)
    # 页面源代码
    return

此时网页若检查到是爬虫的话，返回的页面如下：

<Response [200]>
<html>
<head>
   <script>
       location.replace(location.href.replace("https://","http://"));
   </script>
</head>
<body>
   <noscript><meta http-equiv="refresh" content="0;url=http://www.baidu.com/"></noscript>
</body>
</html>

为解决这一问题，需要获取浏览器申请的header，定义如下：

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

小吴今天运动了吗

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
1
评论
爬虫学习（二）

Requests模块安装：pip install requests镜像安装：pip install -i https://pypi.tuna.tsinghua.edu.cn/simple requests一、代码：import requestsdef pracRequests(): url = r'https://www.sogou.com/web?query=许嵩' resp = requests.get(url) ## 获得响应 print(resp
复制链接

扫一扫