python 爬虫第二节【上】(request)

python 爬虫第二节【上】(request)

接着昨天的内容
我们知道了得到一个网页的全部内容是上节所说,今天我们具体了解requests库

之前为什么要用到r=requests.get(url)
是因为我们经常用到缩写来代表整个单词,而这个r代表的是Response的意思(你要取别的名字也行,但是我们用type函数得出来的都是一样的),此时我们如果用type去测他的内容最后也会得到xxx.xx.Response。之前也说了,r包括了爬虫爬到网页的全部内容,对r来说也就有了多个属性,这些属性通俗易懂来说是对r可以进行操作,得到我们想要的信息。

注意了,下面的r都是之前我们用于接受信息所取的名字,你也可以取其他的名字,但其本质是Response

第一个
r.status_code
r.status_code指的是你爬取网页的状态,这个状态包括爬取成功,失败,或者对方知道你是爬虫返回一个“茶壶”等。
例如print(r.status_code)

如果输出的的结果是200,那么恭喜你,这个网站你是可以爬取成功的。

如果输出的是301,那么就是在进行跳转,男孩子手机里面收藏的网站就有些需要跳转才能访问的网站,那些网站也没有办法,毕竟不想要自己幸幸苦苦做的网站直接被封了吧?

如果输出的的结果是404,这就爬取失败了,这个失败的原因有多个。
1:在没有伪装之前, 第一次访问失败了,但是不要灰心,可能是因为反爬虫机制,需要你要多访问几次,所以多试几次。
2:

  • 2
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值