因为东方财富网中的资金流向表是一个动态的数据,所以采用selenium模块进行爬取。
爬取东方财富网的资金流向表的具体步骤:
1.获取初始的URL
2.爬取对应的URL地址的网页,获取新的URL地址
3.将新的URL地址放入URL队列中
4.从URL队列中读取新的URL,然后依据新的URL爬取网页
将我们在东方财富网中爬取到的数据放入MySQL中,首先让我们用python软件连接到MySQL:
import pymysql
conn=pymysql.connect(host='localhost',user='root',password='123l',database='邓孝慈',port=3306,charset='utf8')
然后我们按照东方财富网中给到的数据标签创建表
cursor.execute("drop table if exists 资金流向表")
sql = """
create table 资金流向表(
日期 VARCHAR(255),
收盘价 VARCHAR(255),
涨跌幅 VARCHAR(255),
主力净流入净额 VARCHAR(255),
主力净流入净占比 VARCHAR(255),
超大单净流入净额 VARCHAR(255),
超大单净流入净占比 VARCHAR(255),
大单净流入净额 VARCHAR(255),
大单净流入净占比 VARCHAR(255),
中单净流入净额 VAR