从零到一学爬虫
kev_gogo
考研408 人工智能 爬虫 数据可视化 数理基础 周更博主 欢迎讨论交流~ 代码问题可直接评论或私信
展开
-
【从零到一学爬虫】考研焦虑怎么办?看看小伙伴们学到哪里了(爬取在线观看人数 附可运行代码)
思路最开始,我想直接爬取这个在线人数条目:可以看到是能够定位到的,然而却因为这个是动态加载的页面,在获取html后,并无法找到该属性,因此,后来使用charles抓包,想看看视频aid是多少,然而费劲查到之后才发现,网址中的BV号,直接能转成av号…(因为aid可以调用接口查找cid,然后就可以查到在线人数了)最后有了aid,cid,我们就是常规的爬虫操作了,具体细节实现如下。具体实现首先,选中一个你想要找的视频,博主这里是选择了这个(大概率两天内被毙):我要爬在线观看人数首先要查找ai.原创 2022-04-20 12:42:30 · 6545 阅读 · 0 评论 -
怎么查找自己浏览器的User-Agent和Cookie
首先打开浏览器,随便找一个网页(最好是你要爬的网页),打开开发者模式:点击右图的网络,然后刷新界面:发现有几个请求,随便点击其中的一个请求的名称部分:可以发现标头这里有许多信息,往下拉:cookie和user-agent就都能找到啦!...原创 2022-03-30 17:24:56 · 3640 阅读 · 0 评论