python爬取东方财富网历史资金流向（已存入MySQL）

最新推荐文章于 2024-08-16 14:17:56 发布

无所求275

最新推荐文章于 2024-08-16 14:17:56 发布

阅读量1.4k

点赞数

文章标签： mysql python 爬虫数据类型

本文链接：https://blog.csdn.net/weixin_61586198/article/details/120838240

版权

本文介绍了使用Python爬取东方财富网的历史资金流向数据，并成功存储到MySQL数据库的过程。在处理中遇到数据类型转换的问题，特别是变量在MySQL中存储为text类型而非数值类型。通过解决MySQL的utf8编码问题，成功将数据以合适格式存入数据库，同时解决了日期只保留日期部分不带时间的问题。

摘要由CSDN通过智能技术生成

from selenium import webdriver  #导入模块，selenium导入浏览器驱动，用get方法打开浏览器
import time
import re
import csv  #存储数据
from lxml import etree #数据的解析
import pandas as pd
import numpy as np
option = webdriver.ChromeOptions()   #网址获取
option.add_argument('headless')  #无界面启动,即设置浏览器静默
driver = webdriver.Chrome(options=option)
driver.get('http://data.eastmoney.com/zjlx/000040.html')
table=driver.find_element(By.ID,'table_ls')
# data_heads1=table.find_elements(By.TAG_NAME,'th')[:8]
# data_heads2=table.find_elements(By.TAG_NAME,'th')[8:]
data_bodies = table.find_element(By.TAG_NAME,'tbody').find_elements(By.TAG_NAME,'tr')
datas=[]
for data_body in data_bodies:
    data3=data_body.text.split()
    datas.append(data3)
datas
name=['日期','收盘价','涨跌幅','主力净流入净额','主力净流入净占比','超大单净流入净额','超大单净流入净占比',
      '大单净流入净额','大单净流入净占比',&#