基于python的Appium进行b站直播消费记录爬取
前情提要
因工作需要,需要爬取相关数据,之前是爬取网页数据,可以用python的requests和Selenium进行爬取。但b站的直播消费数据网页版不能显示,只能在手机上看到,所以就有了这篇文章。
之前看文章说fiddler也可以进行爬取,但尝试了一下没成功,这次选择appium进行爬取。类似的,可以运用爬取微信朋友圈和抖音等手机app相关数据
正文
#环境配置参考
前期工作准备,需要安装python、jdk、PyCharm、Appium-windows-x.x、Appium_Python_Client、Android SDK,pycharm可以用anaconda的jupyter来替代
具体可以参考这篇博客,讲的算是很清楚啦
https://blog.csdn.net/weixin_42617600/article/details/114111785
前期准备工作配置需要不停的安装和配置环境变量,也是个相对枯燥的过程
完成以后就可以真正爬取啦
导入模块
from appium import webdriver
import numpy as np
import pandas as pd
import time
通过程序打开手机b站app
desired_caps = {
'platformName': 'Android', # 被测手机是安卓
'platf