python语言,pycharm程序中 requests库的简单使用

           请求作用是请求网站获取网页数据的,所以作为一个预备的爬虫程序,要明白请求的作用,请求作用的,可以理解为我上你家串门,先问你有人没一个意思。

import requests                      #加入requests包
headers = {
    'User-Agent': 'Mozilla / 5.0(X11;Linux x86_64) AppleWebKit / 537.36(KHTML, like Gecko) Chrome / 66.0.3359.170 Safari / 537.36'
}                                    #插入请求头,这个是可有可没有,请求头找法一个网页按F12,点击网络或者Network,点击F5,然后随便选一个控制台中的链接点击,界面的右下角请求头就出现了。
res=requests.get('http://bj.ganji.com/',headers=headers)

print(res)
print(res.text)

 

          请求库用法,执行的话应该是有赶集网址的,如果输出的是<Response [200]>,那就是没有问题的,如果输出的是404,那就是请求网站失败,说明你刚刚的爬虫爬区过于密集,引起引擎反爬了,禁止请求。

          注意:

 'User-Agent': 'Mozilla / 5.0(X11;Linux x86_64) AppleWebKit / 537.36(KHTML, like Gecko) Chrome / 66.0.3359.170 Safari / 537.36'

         是请求头,就是爬虫作为一个虚假的浏览器,模拟访问,以便于更好的抓取数据。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值