巨潮资讯网年报爬虫
- 代码直接复制即可使用
- 这是一个Post请求爬虫,与Get请求存在一点小区别,不过核心思想是一致的
Tips:
- 需要在py文件夹目录下,新建一个“年报”名称的文件夹,存放下载的报表
- 同时在py文件夹目录下,需要一个stockcode.xlsx文件,里面是需要爬取的公司代码,格式如图所示,其中公司代码需要为字符型,数字型的保存会有问题(000520会变成520)
- B站视频讲解
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/b0765193a3e76d3cdd19f382fbf92181.png)
- 在代码中这个位置可以根据需要调整爬取年份
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/baeea6778ebdd553a878ddee46273d0c.png)
'''
由于数据量较大,建议将数据分成几组,多次爬虫,避免一次爬虫过程中,爬虫时间较长,出现意外情况而未能保存数据
'''
import requests,time,random,json
import pandas as pd
def req(stock,year,org_dict):
url = "http://www.cninfo.com.cn/new/hisAnnouncement/query"
data = {
"pageNum":"1",
"pageSize":"30",
"tabName":"fulltext",
"stock":stock + "," + org_dict[stock] ,
"seDate":f"{
str(int(year)+1)}-01-01~<