大家好,我是爱编程的喵喵。双985硕士毕业,现担任全栈工程师一职,热衷于将数据思维应用到工作与生活中。从事机器学习以及相关的前后端开发工作。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。现为CSDN博客专家、人工智能领域优质创作者。喜欢通过博客创作的方式对所学的知识进行总结与归纳,不仅形成深入且独到的理解,而且能够帮助新手快速入门。
本文主要介绍了requests返回值为空的解决方案,希望能对学习爬虫的同学们有所帮助。需要说明的是,该方案适合无需进行登录账户等其他操作就能通过浏览器看到网站内容的情况,而不适用更加复杂的场景。
1. 问题描述
今天实习生在对CSDN网站进行数据采集,采用的是python的requests库,对应网站链接为https://blog.csdn.net/csdngeeknews/article/details/130519909,爬取代码、网站页面、及其爬虫效果如下图所示: