爬取斗鱼4300W热度的小姐姐是一种什么样的体验？

这是我们要爬取的目标：

这是我们爬取的过程：

这是我们爬取到的结果：

这么多的小姐姐，元芳，此刻你在想些什么呢？    

元芳想静静~~~~

1. 首先我们打开斗鱼主页找到分类下的'颜值'

 

2. 拉到最底下可以看到总共有不到6页数据，每页120条数据，当前共计700个美女主播在线。我们今天的任务就是将这些美女主播的照片、房间号、房间名称和主播分类存入到Excel并且打印出所有美女照片。

 

3. 我们先来分析一下网页结构，首先我们点击下一页发现网站链接是没有发生变化的，据此分析有可能时js加载的页面。我们再次在浏览器设置中找到javascript并且将其关闭发现页面无法正常加载。所以就可以肯定网页属于js加载的了。