利用Python爬虫爬取斗鱼直播间信息,以及直播的实际人数!
首先我准备利用mysql来存储我爬取的信息,建一个host表如下:然后下载pymysql ,利用它与数据库链接,因为在这里我只涉及到写入的操作:Unit_Mtsql然后就是使用Beautifulsoup框架对斗鱼的链接进行解析,为了使用的方便,自己写了一个host类,主要用于存储直播间的相关信息。基本思路是:1.获取斗鱼的几大模块,斗鱼一共有7个模块:网游晋级,单机热,手游休闲等...
原创
2018-07-25 12:48:18 ·
16400 阅读 ·
19 评论