python采集直播间数据_利用Python爬虫爬取斗鱼直播间信息，以及直播的实际人数！...

首先我准备利用mysql来存储我爬取的信息，建一个host表如下：

然后下载pymysql ，利用它与数据库链接，因为在这里我只涉及到写入的操作：

Unit_Mtsql

然后就是使用Beautifulsoup框架对斗鱼的链接进行解析，为了使用的方便，自己写了一个host类，主要用于存储直播间的相关信息。基本思路是：1.获取斗鱼的几大模块，斗鱼一共有7个模块：网游晋级，单机热，手游休闲等  。2.获取每个模块的子模块 3.从每个子模块中找到旗下的直播间信息。