ConnectionError

描述:爬取TED网站页面主题和网址
方法:requests + bs4
问题:(1)爬取第一页还没问题,第二页出现如下显示:
在这里插入图片描述
(2)技术菜鸟的做法就是百度,然后试试,先运行然后再学习;
添加timeout=(timeout=(3,7))

def getHtml(url):
  
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.0; WOW64; rv:24.0) Gecko/20100101 Firefox/24.0'}
    page = requests.get(url, headers=headers, timeout=(3,7))
    page.encoding= page.apparent_encoding
    html = page.text          

(3)然后问题依旧
在这里插入图片描述
参考:https://blog.csdn.net/wdh315172/article/details/80491668
在这里插入图片描述
这样,接下来完全看运气了,运气好的时候爬几十页,差的时候只有几页,不过还是有进步的,后续再慢慢改进,毕竟先完成任务再说…

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值