趁热打铁,再来爬一下 TX 的网站 -- 科技 -腾讯网。腾讯新闻的科技板块,至于为什么爬这个板块?我们要做新时代的科技少年😂 😂 😂 。闲话少叙,快上车。
一、分析网页代码
打开网页并进入调试模式,可以看的我们要爬取的内容都在这个
中。
qqxw_01.png
打开看看,就是它们,这个网站默认加载 20 条新闻,拉到底部会加载更多。
qqxw_02.png
因为是爬取新闻,也不涉及翻页的问题(爬以前的旧文章干嘛?😢 )。与 36Kr 不同的是,36Kr 的新闻是按照时间顺序排列的,新的在前,而 TX 貌似是按照热度排列的,哪个点击量高哪个在前。也无所谓了,只要爬这前 20 个就行了,大约每 10 分钟会有 3 ~ 5 篇新文章。
我们在点开其中一个
看看要爬取的元素位置,如下图。
qqxw_03.png
跟 36Kr 差不多,藏了一层又一层,思