Python爬虫实现获取斗鱼主播信息

最新推荐文章于 2021-02-03 20:55:47 发布

置顶

暗庆余生

最新推荐文章于 2021-02-03 20:55:47 发布

阅读量2.1k

点赞数

分类专栏： python 文章标签： Python Computer Robot

本文链接：https://blog.csdn.net/qq_32703767/article/details/80372948

版权

本文介绍了如何使用Python进行网络爬虫，以获取斗鱼直播平台的主播信息。首先，详细讲解了Python的安装及PyCharm的配置，接着通过分析网页结构，展示了如何抓取不同分类的主播列表。尽管目前的实现仅能获取在线主播，但已揭示了爬取数据的基本流程。最后，作者提供了完整的代码，欢迎读者批评指正。

摘要由CSDN通过智能技术生成

先下载安装Python以及其编写软件

https://www.python.org/downloads/ Python下载官网
选择版本下面使用的版本为3.6.5
<img></img>
根据自己的操作系统的位数选择
这里写图片描述
打开安装文件后

把添加到环境变量打钩，可以省去后面自己配置环境变量
如果想要自己选择安装路径，点击Customize installation安装
后面默认全选就行

安装完成后，可以在命令提示符下输入 python 显示如下：
这里写图片描述

注意：32位安装后，命令提示符中Python可能遇到
这里写图片描述

下载一堆dll文件放到python.exe的根目录下就行了下面是我打包好的地址
http://www.52wangjun.cn/dll.zip

下面我们安装一个对python比较友好的编译软件 –PyCharm
https://www.jetbrains.com/pycharm/download/#section=windows 点击右边的
这里写图片描述
软件安装完成后，还需要安装两个包requests 和 beautifulsoup4
先新建一个python工程
然后File – Settings

然后点击Project Interpreter

等加号加载出来后，点击加号先搜索 requests 找到后点击 Install Package
这里写图片描述

后面beautifulsoup4一样

当看到Project Interpreter 显示以上内容我们的基本安装已经完成了

二、网页分析加代码实现

下面我们进入正题首先我们进入斗鱼的官网
这里写图片描述
我发现首页是一些推荐的主播，并不全面，不能全部爬取，所以我这里选择了分类页
分类页地址：https://www.douyu.com/directory
这里是斗鱼所以的直播分类，我们可以看到所有的分类全部都在这一页，所以我们只需要把每个分类的地址拿到。