【Python爬虫】requests库爬取大学生创业网(AJAX异步更新网页)
【Python爬虫】requests库爬取大学生创业网
上个月学习了用Python的requests库爬虫,前几天有个朋友请我帮忙爬取下大学生创业网里的项目做一个调查分析,我想刚好可以复习下爬虫,所以研究了一下这个网站。
网站地址:https://cy.ncss.cn/search/projects
进入网站,发现需要登录才能显示页面,于是在草稿本上标记一个注意点(我习惯边分析边在草稿本上写)——发送请求的时候,请求头 要带上Cookie,然后使用session去get
登录以后可以看到
我们要的数据内容
原创
2020-08-16 18:51:08 ·
1089 阅读 ·
2 评论