Python 爬虫基础部分

GET请求

    import urllib.request
    import urllib.parse
    
    url = "http://www.baidu.com/s?"
    
    keyword = input("请输入你要搜索的关键字:")
    
    # 带上请求头,为了模拟访问网站是浏览器运行的,而不是脚本运行
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3902.4 Safari/537.36"
    }
    
    # url需要带的参数
    data = {
        "ie": "utf-8",
        "wd": keyword
    }
    # 进行解析
    query_string = urllib.parse.urlencode(data)
    # ie=utf-8&wd=php
    
    # 参数拼接到url,形成一条完整的url
    url += query_string
    # http://www.baidu.com/s?ie=utf-8&wd=java
    
    # 构造请求对象
    request = urllib.request.Request(url=url, headers=headers)
    
    content = urllib.request.urlopen(request)
    
    file_name = keyword + '.html'
    with open(file_name, 'w', encoding="utf-8") as fp:
        fp.write(content.read().decode('utf8'))
        

POST请求

    import urllib.request
    import urllib.parse
    
    # json字符串转成json格式
    import json
    
    url = "https://fanyi.baidu.com/sug"
    headers = {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3902.4 Safari/537.36',
    }
    keyword = input('请输入要翻译的单词:')
    form_data = {
        'kw': keyword
    }
    
    request = urllib.request.Request(url=url, headers=headers)
    
    form_data = urllib.parse.urlencode(form_data).encode()
    
    response = urllib.request.urlopen(request, form_data)
    
    # unicode转义编码
    result = json.loads(response.read().decode('unicode_escape'))
    
    # 通过字典key获取值,不用result['data']是因为如果没有data这个key那么就会报错, 如果用result.get('data')没有key就会返回None,不会报错
    for item in result.get('data'):
        print(item['k'] + '---' + item['v'])

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值