描述:爬取TED网站页面主题和网址
方法:requests + bs4
问题:(1)爬取第一页还没问题,第二页出现如下显示:
(2)技术菜鸟的做法就是百度,然后试试,先运行然后再学习;
添加timeout=(timeout=(3,7))
def getHtml(url):
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.0; WOW64; rv:24.0) Gecko/20100101 Firefox/24.0'}
page = requests.get(url, headers=headers, timeout=(3,7))
page.encoding= page.apparent_encoding
html = page.text
(3)然后问题依旧
参考:https://blog.csdn.net/wdh315172/article/details/80491668
这样,接下来完全看运气了,运气好的时候爬几十页,差的时候只有几页,不过还是有进步的,后续再慢慢改进,毕竟先完成任务再说…