爬虫
Kidddddult
这个作者很懒,什么都没留下…
展开
-
国家家养动物种质资源库(CDAD)数据爬取不到?一文解决
数据在点开网页“检查”的Elements后是可以显示的,但却不存在于网页源代码里,这是因为现在很多网站都采用了动态加载技术原创 2024-04-28 17:33:59 · 141 阅读 · 3 评论 -
古诗文网模拟登录失败
尝试了一个上午都没有出结果,我有点想跳这节内容了,然后果真跳了,结果下一节内容里老师就介绍了这个问题,原来:没有请求到对应页面数据的原因是,服务器端并不知道当前请求是基于登录页面下的请求,所以,我们需要引入下一个知识点:Cookie,Cookie的作用就是让服务器端记录客户端的相关状态。把requests改成session之后,我爬的页面就可以在浏览器里正常打开了,但是乱糟糟的,超链接也都没法点,一点一个404,我也不知道问题出在哪,maybe是有什么反爬手段?好像),所以我选择了在古诗文网尝试模拟登录。原创 2024-04-27 12:14:19 · 161 阅读 · 0 评论