python 爬虫第二节【上】(request)
接着昨天的内容
我们知道了得到一个网页的全部内容是上节所说,今天我们具体了解requests库
之前为什么要用到r=requests.get(url)
是因为我们经常用到缩写来代表整个单词,而这个r代表的是Response的意思(你要取别的名字也行,但是我们用type函数得出来的都是一样的),此时我们如果用type去测他的内容最后也会得到xxx.xx.Response。之前也说了,r包括了爬虫爬到网页的全部内容,对r来说也就有了多个属性,这些属性通俗易懂来说是对r可以进行操作,得到我们想要的信息。
注意了,下面的r都是之前我们用于接受信息所取的名字,你也可以取其他的名字,但其本质是Response
第一个
r.status_code
r.status_code指的是你爬取网页的状态,这个状态包括爬取成功,失败,或者对方知道你是爬虫返回一个“茶壶”等。
例如print(r.status_code)
如果输出的的结果是200,那么恭喜你,这个网站你是可以爬取成功的。
如果输出的是301,那么就是在进行跳转,男孩子手机里面收藏的网站就有些需要跳转才能访问的网站,那些网站也没有办法,毕竟不想要自己幸幸苦苦做的网站直接被封了吧?
如果输出的的结果是404,这就爬取失败了,这个失败的原因有多个。
1:在没有伪装之前, 第一次访问失败了,但是不要灰心,可能是因为反爬虫机制,需要你要多访问几次,所以多试几次。
2: