(必收藏) Python私藏项目实操分享，爬取QQ音乐评论，带你解析别人的内心世界

收集整理了一份《2024年最新Python全套学习资料》免费送给大家，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上Python知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来

如果你需要这些资料，可以添加V无偿获取：hxbc188 （备注666）

正文

利用Python爬取音乐评论。废话不多说。

让我们愉快地开始吧~

开发工具

---

Python版本：3.6.4

相关模块：

requests模块；

re模块；

pymysql模块；

以及一些Python自带的模块。

环境搭建

---

安装Python并添加到环境变量，pip安装需要的相关模块即可。

通过这次爬取，学习了数据库MySQL，因为之前都是在windows上操作，而这回需要在Mac上操作，所以就在Mac上安装了MySQL以及MySQL的管理工具Sequel Pro，最后也是安装成功，数据库连接也没有问题。

接下来创建数据库，表格及主键信息。

import pymysql

创建数据库

db = pymysql.connect(host=‘127.0.0.1’, user=‘root’, password=‘774110919’, port=3306)

cursor = db.cursor()

cursor.execute(“CREATE DATABASE QQ_Music DEFAULT CHARACTER SET utf8mb4”)

db.close()

import pymysql

创建表格, 设置主键

db = pymysql.connect(host=‘127.0.0.1’, user=‘root’, password=‘774110919’, port=3306, db=‘QQ_Music’)

cursor = db.cursor()

sql = ‘CREATE TABLE IF NOT EXISTS comments (nike VARCHAR(255) NOT NULL, comment VARCHAR(255) NOT NULL, praisenum INT NOT NULL, comment_id VARCHAR(255) NOT NULL, time VARCHAR(255) NOT NULL, PRIMARY KEY (comment))’

cursor.execute(sql)

db.close()

针对音乐中去年夏天的网页进行分析，查看了所有评论的尾页，发现时间缩水了，因为热评中有一条评论的时间7月12号，而所有评论最后一页的时间却是7月16号。很明显，所有评论并不是货真价实的所有评论，不知这算不算音乐的BUG。

还有一个就是直接点击最后一页的时候，并不能直接返回真正的信息，需要从最后一页往前翻，到了真正的信息页时，然后再往后翻，才能得到最后一页的真正信息。

同样是Ajax请求，确认网址后，分析一下请求头，发现主要是三个参数发生变化：jsoncallback

pagenum

lasthotcommentid

pagenum不难理解，就是页数。jsoncallback经过实验后，发现并不会影响请求，所以设置时无需改动，lasthotcommentid的值对应的是上一页最后一个评论者的ID，所以需要随时改动。

即改变pagenum，lasthotcommentid的值，就可成功实现请求。

部分代码

---

import re

import json

import time

import pymysql

import requests

URL = ‘https://c.y.qq.com/base/fcgi-bin/fcg_global_comment_h5.fcg?’

HEADERS = {

‘user-agent’: ‘Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36’

}

PARAMS = {

‘g_tk’: ‘5381’,

‘jsonpCallback’: ‘jsoncallback4823183319594757’,

‘loginUin’: ‘0’,

‘hostUin’: ‘0’,

‘format’: ‘jsonp’,

‘inCharset’: ‘utf8’,

‘outCharset’: ‘GB2312’,

‘notice’: ‘0’,

‘platform’: ‘yqq’,

‘needNewCode’: ‘0’,

‘cid’: ‘205360772’,

‘reqtype’: ‘2’,

‘biztype’: ‘1’,

‘topid’: ‘213910991’,

‘cmd’: ‘8’,

‘needmusiccrit’: ‘0’,

‘pagenum’: ‘0’,

现在能在网上找到很多很多的学习资源，有免费的也有收费的，当我拿到1套比较全的学习资源之前，我并没着急去看第1节，我而是去审视这套资源是否值得学习，有时候也会去问一些学长的意见，如果可以之后，我会对这套学习资源做1个学习计划，我的学习计划主要包括规划图和学习进度表。

分享给大家这份我薅到的免费视频资料，质量还不错，大家可以跟着学习

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

如果你需要这些资料，可以添加V无偿获取：hxbc188 （备注666）

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
)

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

如果你需要这些资料，可以添加V无偿获取：hxbc188 （备注666）
[外链图片转存中…(img-KcJ5p96v-1713785774803)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！