对爬虫还挺有兴趣的,但是一直没有尝试过,今天看了几篇写得非常好的博客,学到了一丢丢,自己也写了个简单的爬虫娱乐娱乐。
1.分析需求
需求:
爬取b站up主王老菊所有视频投稿的编号,标题,播放数量以及评论数量。
分析:
1.先要进入b站,到这位up主的个人主页:
2.按f12进入控制台f5刷新,如图所示找到需要的信息:
3.图中的xhr文件就包含了我们需要的信息,挨个打开,直到找到需要的信息:
4.把这个文件在浏览器里打开就能找到我们需要的url:
如图:
对爬虫还挺有兴趣的,但是一直没有尝试过,今天看了几篇写得非常好的博客,学到了一丢丢,自己也写了个简单的爬虫娱乐娱乐。
需求:
爬取b站up主王老菊所有视频投稿的编号,标题,播放数量以及评论数量。
分析:
1.先要进入b站,到这位up主的个人主页:
2.按f12进入控制台f5刷新,如图所示找到需要的信息:
3.图中的xhr文件就包含了我们需要的信息,挨个打开,直到找到需要的信息:
4.把这个文件在浏览器里打开就能找到我们需要的url:
如图: