python爬虫：爬东方财富网平安银行历史资金流向并写入MySQL

最新推荐文章于 2022-03-01 17:41:15 发布

鲨鱼辣椒！！

最新推荐文章于 2022-03-01 17:41:15 发布

阅读量865

点赞数 3

文章标签： python

本文链接：https://blog.csdn.net/qq_57046598/article/details/120834086

版权

本文介绍了如何使用Python爬虫抓取东方财富网上平安银行的历史资金流向数据。首先分析网页源代码，找到所需数据的请求URL，接着使用requests库获取数据并进行解析。数据解析后存储为字典，进一步转化为DataFrame，最后通过pandas的to_excel函数写入Excel文件，并使用to_sql方法将数据插入到MySQL数据库中。

摘要由CSDN通过智能技术生成

1、需要导入的包

import requests 
import pandas as pd
import re
import pymysql
import numpy as np
from sqlalchemy import create_engine

2、爬取一个网页首先需要了解这个网页的源代码，按F12就可以进入开发者工具。

点开network，刷新一下，会弹出相应的get?cb开头的请求，点开可以看到我们要爬取的数据就在这个里面。

然后点开Headers可以看到有个Request URl,点开连接可以直接看到数据，所以不用添加请求头就能获取。

3、进行爬取

#获取网页源代码
url=f'http://push2his.eastmoney.com/api/qt/stock/fflow/daykline/get?cb=jQuery112309173939785847636_1634476786717&lmt=0&klt=101&fields1=f1%2Cf2%2Cf3%2Cf7&fields2=f51%2Cf52%2Cf53%2Cf54%2Cf55%2Cf56%2Cf57%2Cf58%2Cf59%2Cf60%2Cf61%2Cf62%2Cf6

最低0.47元/天解锁文章

鲨鱼辣椒！！

关注

3
点赞
踩
5

收藏

觉得还不错? 一键收藏
0
评论
python爬虫：爬东方财富网平安银行历史资金流向并写入MySQL

1、需要导入的包import requests import pandas as pdimport reimport pymysqlimport numpy as npfrom sqlalchemy import create_engine2、爬取一个网页首先需要了解这个网页的源代码，按F12就可以进入开发者工具。点开network，刷新一下，会弹出相应的get?cb开头的请求，点开可以看到我们要爬取的数据就在这个里面。然后点开Headers可以看到有个Request .
复制链接

扫一扫