python爬虫的urllib与requests的对比

 关于爬虫,python中就有很多相关的包,今天我们就来介绍一下urllib与requests的区别,以爬取百度翻译为例,首先我们访问百度翻译,F12,了解到使用的方法为post,好了不多说了上代码

###urllib

from  urllib import request,parse
import json
if __name__ == '__main__':
    while True:
        baseurl = 'http://fanyi.baidu.com/sug'
        keyword = input('请输入你要查询的单词:')
        data = {
            'kw': keyword
        }
        data = parse.urlencode(data).encode()  # 需要给数据编码,现在data是bytes格式,
        #调试用的的话可以输入以下代码(已注释)
        #data = parse.urlencode(data)
        #print(data)

        rsp = request.urlopen(baseurl, data=data)
        json_data = rsp.read().decode()#解码后的数据是json格式,所以要import json
        #print(json_data)
        json_data = json.loads(json_data)
        for i in json_data['data']:
            print(i['k'], '---->', i['v'])

-------------------------------------------------------------------------------------------------------------------------------------------------------------

#####requests

import requests
if __name__ == '__main__':
    while True:
        baseurl = 'http://fanyi.baidu.com/sug'
        keyword = input('请输入你要查询的单词:')
        data = {
            'kw': keyword
        }
        #这里不用给data进行编码
        #但是下面要指明post方法
        #rsp=requests.request('post',url=baseurl,data=data)
        #上下两代码等价
        rsp = requests.post(url=baseurl, data=data)
        #而这里也不用导入 json模块,直接使用对象的json()方法即可
        json_data = rsp.json()
        for i in json_data['data']:
            print(i['k'], '---->', i['v'])
总的来说,requests将urlib进行了更高级的封装,不用人为的编码解码,将其自动化,
  • 2
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值