斗鱼主播后台礼物数据爬取

1.环境配置
需要安装anaconda，谷歌浏览器和chromedriver,chromedriver和谷歌浏览器的版本必须相匹配
在anaconda上安装selenium，基于selenium控制webdriver，chromedriver和谷歌浏览器的版本必须相匹配


python和chromedriver最好都放在一块，再添加一下环境变量
2.导入相关模块

import pandas as pd
import numpy as np
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.chrome.options import Options
import time
from sqlalchemy import create_engine 
import pymysql

主要用到的模块有selenium、pandas和time
3.启动chromedriver，用程序控制浏览器

browser = webdriver.Chrome()
login_page_url = 'https://mp.douyu.com/profit/liveprofit'
browser.get(login_page_url)

4.登录斗鱼主播后台，这里直接登录会需要账号密码，也可以扫码登录
在主播中心——我的收益可以看到礼物记录