抖音短视频数据抓取实战系列（八）——Mitmproxy抓取用户详细信息并入库

本文链接：https://blog.csdn.net/qq_36288559/article/details/111386888

本文介绍如何使用Mitmproxy抓取抖音用户的详细信息，并通过Python将这些数据解析后存入MySQL数据库。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

抖音短视频数据抓取实战系列（八）——Mitmproxy抓取用户详细信息并入库

import json
import pymysql
#函数名必须这样写 这是mitmdump规则
def response(flow):
    #下面这个网址是通过fiddler获取到的 但是有些数据我们无法解密，所以需要用mitmdump捕获数据包然后做分析\


    if 'aweme.snssdk.com/aweme/v1/user/profile/other/?' in flow.request.url:
        result=json.loads(flow.response.text)['user']
        print(" ")
        print(" ")
        print(" ")
        print(" ")
        print(" ")
        print("******************************************************************************")
        print(" ")

        user_info= {}
        
        if "nickname" in result:
            user_info["nickname"]=result["nickname"]
        else:
            user_info["nickname"]="伞梦"
            
        if "signature" in result:
            user_info["signature"]=result["signature"]
        else:
            user_info["signature"]="大家好。"
            
        if "uid" in result:
            user_info["uid"]=result["uid"]
        else:
            user_info["uid"]="-1"
            
        db = pymysql.connect("localhost", "root", "1234", "database", charset='utf8mb4')
        # 使用cursor()方法获取操作游标
        cursor = db.cursor()
        # SQL 插入语句
        sql = """INSERT INTO usertest(nickname,
                 uid, signature)
                 VALUES ('{0}', '{1}','{2}')""".format(user_info['nickname'], user_info['uid'],user_info['signature'])
        #user_info['nickname'], user_info['uid'],user_info['signature']
        try:
            # 执行sql语句
            cursor.execute(sql)
            print(sql)
            print("success")
            # 提交到数据库执行
            db.commit()
        except Exception as e:
            print("error")
            # Rollback in case there is any error
            print(e)
            db.rollback()
        # 关闭数据库连接
        db.close()


        #有的用户修改了抖音号
        print(user_info)
        print(" ")
        print("******************************************************************************")
        print(" ")
        print(" ")
        print(" ")
        print(" ")
        print(" ")