巨潮资讯网年报爬虫

巨潮资讯网年报爬虫

• 代码直接复制即可使用
• 这是一个Post请求爬虫，与Get请求存在一点小区别，不过核心思想是一致的
  Tips:
• 需要在py文件夹目录下，新建一个“年报”名称的文件夹，存放下载的报表
• 同时在py文件夹目录下，需要一个stockcode.xlsx文件，里面是需要爬取的公司代码，格式如图所示，其中公司代码需要为字符型，数字型的保存会有问题（000520会变成520）
• B站视频讲解
  
• 在代码中这个位置可以根据需要调整爬取年份

'''
由于数据量较大，建议将数据分成几组，多次爬虫，避免一次爬虫过程中，爬虫时间较长，出现意外情况而未能保存数据
'''
import requests,time,random,json
import pandas as pd

def req(stock,year,org_dict):
    # post请求地址（巨潮资讯网的那个查询框实质为该地址）
    url = "http://www.cninfo.com.cn/new/hisAnnouncement/query"
    # 表单数据，需要在浏览器开发者模式中查看具体格式
    data  = {
   
        "pageNum":"1",
        "pageSize":"30",
        "tabName":"fulltext",
        "stock":stock + "," + org_dict[stock] ,# 按照浏览器开发者模式中显示的参数格式构造参数
        "seDate":f"{
     str(int(year)+1)}-01-01~<