动态爬虫,python,用这个你就可以直接搜搜索你想要的资料

这个爬虫只限于搜狗浏览器

#这个直接输关键词就可以爬取搜狗的资料
def gaojipachong():
    import requests, urllib
    from bs4 import BeautifulSoup
    from urllib.request import urlopen
    # if__name__=='__main__'
    headers = {
        'user-agent': 'Mzilla/5.0'
    }
    url = 'http://www.sogou.com/web'
    kw = input('input the word:')
    param = {
        'query': kw
    }
    response = requests.get(url=url, params=param, headers=headers)
    html = response.text
    # html = urlopen(k)
    bs = BeautifulSoup(html, 'html.parser')  # 解析网页
    hyperlink = bs.find_all('a')  # 获取所有超链接
    for h in hyperlink:
        hh = h.get('href')
        # print(hh)
        try:
            html = urlopen(str(hh))
            bs = BeautifulSoup(html, 'html.parser')  # 解析网页
            hyperlink = bs.find_all('title')
            print(hyperlink[0], ':', hh)
        except ValueError:
            print('')
        except Exception:
            print('')
            # 没有预先判断到的错误怎么办?
            # ZeroDivisionError
        finally:
            # 无论是否有异常,都会执行的代码
            print('')
gaojipachong()

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值