python爬虫抓取信息_如何利用python网络爬虫技术获取网站状态和信息

一般情况下,如果网站请求成功之后,响应的状态码为200;还可以通过getheaders()获取网站请求的信息头部。如果这个方法去掉s,加入参数Server,可以获取服务器名称。下面利用几个实例说明,操作如下:

e177fc9147e833e01c6ca5b630ea3e86314859b7.jpg?x-bce-process=image%2Fresize%2Cm_lfit%2Cw_500%2Climit_1

工具/原料

python

pycharm

截图工具

方法/步骤

1

第一步,在新建的python文件中,导入urllib.request,注意确切的包,如下图所示:

e3d059e833e039721b1d235fb5863048604356b7.jpg?x-bce-process=image%2Fresize%2Cm_lfit%2Cw_500%2Climit_1

2

第二步,再次调用urllib.request.urlopen(),传入的参数为一个网址,如下图所示:

46a92de039723d039cf4a633bb486143d6d457b7.jpg?x-bce-process=image%2Fresize%2Cm_lfit%2Cw_500%2Climit_1

3

第三步,利用print()方法打印服务请求成功后的状态码,调用status属性,如下图所示:

32a127723d03bbea1698a8fdea43d7d4493154b7.jpg?x-bce-process=image%2Fresize%2Cm_lfit%2Cw_500%2Climit_1

4

第四步,保存并运行这个python文件,可以看到打印出200结果,如下图所示:

38332303bbea3e861956f9f65cd4483105eb55b7.jpg?x-bce-process=image%2Fresize%2Cm_lfit%2Cw_500%2Climit_1

5

第五步,再次获取服务器和网址请求信息头部,打印结果可以发现出现了编码,如下图所示:

3c42a5ea3e8630484b5d4f61c33104ebf7a752b7.jpg?x-bce-process=image%2Fresize%2Cm_lfit%2Cw_500%2Climit_1

6

第六步,再次调用getheaders()方法,传入参数Server,结果发现出现了报错,如下图所示:

baab208630486143fccad0848febf6a75e0f53b7.jpg?x-bce-process=image%2Fresize%2Cm_lfit%2Cw_500%2Climit_1

END

注意事项

注意如何使用爬虫技术获取网站的状态和信息头

注意导入合适的包获取网站信息

经验内容仅供参考,如果您需解决具体问题(尤其法律、医学等领域),建议您详细咨询相关领域专业人士。

举报作者声明:本篇经验系本人依照真实经历原创,未经许可,谢绝转载。

展开阅读全部

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值