python爬虫 - 爬取 json 格式数据（巨潮网，公司年报）

于 2024-04-25 08:30:00 发布
阅读量1.4k 收藏 31
点赞数 29
分类专栏： python 爬虫 文章标签： python 爬虫 json
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/BullKing8185/article/details/138166469
版权

文章目录

python爬虫五部曲：

  • 第一步：安装requests库

  • 第二步：获取爬虫所需的header和cookie

  • 第三步：获取网页

  • 第四步：解析网页

  • 第五步：分析得到的Json数据

1. 第一步：安装requests库

在程序中引用两个库的书写是这样的：

import requests

以pycharm为例，在pycharm上安装这个库的方法。在菜单【文件】–>【设置】->【项目】–>【Python解释器】中，在所选框中，点击软件包上的+号就可以进行查询插件安装了。有过编译器插件安装的hxd估计会比较好入手。具体情况就如下图所示。

在这里插入图片描述

2. 第二步：获取爬虫所需的header和cookie

以爬取 巨潮网 公司年报 的爬虫程序为例。获取header和cookie是一个爬虫程序必须的，它直接决定了爬虫程序能不能准确的找到网页位置进行爬取。

  • 首先通过浏览器，打开 巨潮网，

打开 巨潮网 http://www.cninfo.com.cn/new/index

在这里插入图片描述
在这里插入图片描述

输入自己关注的股票，找到公告相关信息，选择：更多

在这里插入图片描述在这里插入图片描述

  • [x]按下F12，就会出现网页的js语言设计部分，找到网页上的Network部分。并选中“放大镜（过滤）”，如下图所示：

在这里插入图片描述

  • 然后按下ctrl+R刷新页面，此时发现右边 NetWork 部分出现很多信息。（如果进入后就有所需要的信息，就不用刷新了），当然刷新了也没啥问题。

在这里插入图片描述

  • 在选中放大镜后的输入框中，输入其中一个关注的信息，比如：中信建投，通过 放大镜 搜索 功能，搜索自己关注的信息，并点击 ”刷新按钮“，就会在Search 结果中，显示相关的信息

在这里插入图片描述

在这里插入图片描述

双击选中上述查询结果中的某一条数据（上图中 红色框的部分），此时会发现右下部分 网络信息 也会同步自动选中某一行信息，如下图所示：

  • 也可以通过 Network --> Filter 功能，搜索网址中的关键信息 的方式进行过滤

    在 Network --> Filter 中，依据网页中的关键信息进行过滤，如输入： 中信建投，但本例中并没有信息显示

在这里插入图片描述

  • 拷贝其 cURL 信息

    在 Network --> Filter 中，关键信息进行过滤后，我们浏览Name这部分，找到我们想要爬取的文件（网络信息），鼠标右键，选择copy，复制下网页的URL。

    过滤后，有效信息会少很多，如下所示。选中所需的条目，右键 --> Copy --> Copy as cURL

在这里插入图片描述


curl 'http://www.cninfo.com.cn/new/hisAnnouncement/query' \
  -H 'Accept: application/json, text/javascript, */*; q=0.01' \
  -H 'Accept-Language: zh-CN,zh;q=0.9' \
  -H 'Content-Type: application/x-www-form-urlencoded; charset=UTF-8' \
  -H 'Cookie: JSESSIONID=EF5F553523A7F57931788215EEA38C23; SF_cookie_4=17470996; insert_cookie=37836164; _sp_ses.2141=*; routeId=.uc2; _sp_id.2141=97e243ce-8c09-4be7-8850-ec31fc55deb6.1713703123.1.1713703185.1713703123.8e5a815e-52a3-4f02-880b-4bbd541f9bb6; SID=8fe2c8b0-1f78-4be2-8c4a-c780f514fd6c; cninfo_user_browse=300229,9900016933,%E6%8B%93%E5%B0%94%E6%80%9D' \
  -H 'Origin: http://www.cninfo.com.cn' \
  -H 'Proxy-Connection: keep-alive' \
  -H 'Referer: http://www.cninfo.com.cn/new/disclosure/stock?orgId=9900016933&stockCode=300229' \
  -H 'User-Agent: Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36' \
  -H 'X-Requested-With: XMLHttpRequest' \
  --data-raw 'stock=300229%2C9900016933&tabName=fulltext&pageSize=30&pageNum=1&column=szse&category=&plate=sz&seDate=&searchkey=&secid=&sortName=&sortType=&isHLtitle=true' \
  --compressed \
  --insecure

转换后信息如下图所示，选择【Copy to clipboard】，并黏贴到Pycharm开发环境中即可直接使用：

转换后信息如下图所示，请关注:header 中的 传输格式为： Json

选择【Copy to clipboard】，并黏贴到Pycharm开发环境中即可直接使用：

在这里插入图片描述

选择【Copy to clipboard】， 拷贝到 pycharm 中，可直接作为源代码使用：


import requests

cookies = {
    'JSESSIONID': 'EF5F553523A7F57931788215EEA38C23',
    'SF_cookie_4': '17470996',
    'insert_cookie': '37836164',
    '_sp_ses.2141': '*',
    'routeId': '.uc2',
    '_sp_id.2141': '97e243ce-8c09-4be7-8850-ec31fc55deb6.1713703123.1.1713703185.1713703123.8e5a815e-52a3-4f02-880b-4bbd541f9bb6',
    'SID': '8fe2c8b0-1f78-4be2-8c4a-c780f514fd6c',
    'cninfo_user_browse': '300229,9900016933,%E6%8B%93%E5%B0%94%E6%80%9D',
}

headers = {
    'Accept': 'application/json, text/javascript, */*; q=0.01',
    'Accept-Language': 'zh-CN,zh;q=0.9',
    'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
    # 'Cookie': 'JSESSIONID=EF5F553523A7F57931788215EEA38C23; SF_cookie_4=17470996; insert_cookie=37836164; _sp_ses.2141=*; routeId=.uc2; _sp_id.2141=97e243ce-8c09-4be7-8850-ec31fc55deb6.1713703123.1.1713703185.1713703123.8e5a815e-52a3-4f02-880b-4bbd541f9bb6; SID=8fe2c8b0-1f78-4be2-8c4a-c780f514fd6c; cninfo_user_browse=300229,9900016933,%E6%8B%93%E5%B0%94%E6%80%9D',
    'Origin': 'http://www.cninfo.com.cn',
    'Proxy-Connection': 'keep-alive',
    'Referer': 'http://www.cninfo.com.cn/new/disclosure/stock?orgId=9900016933&stockCode=300229',
    'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36',
    'X-Requested-With': 'XMLHttpRequest',
}

data = {
    'stock': '300229,9900016933',
    'tabName': 'fulltext',
    'pageSize': '30',
    'pageNum': '1',
    'column': 'szse',
    'category': '',
    'plate': 'sz',
    'seDate': '',
    'searchkey': '',
    'secid': '',
    'sortName': '',
    'sortType': '',
    'isHLtitle': 'true',
}

response = requests.post(
    'http://www.cninfo.com.cn/new/hisAnnouncement/query',
    cookies=cookies,
    headers=headers,
    data=data,
    verify=False,
)


print(f'response= {response}')
print(f'response.text= {response.text}')
print(f'response.json= {response.json()}')

3. 第三步：获取网页

通过requests.get() 即可获取网页内容：


response = requests.post(
    'http://www.cninfo.com.cn/new/hisAnnouncement/query',
    cookies=cookies,
    headers=headers,
    data=data,
    verify=False,
)

print(f'response= {response}')
print(f'response.text= {response.text}')

4. 第四步：解析网页

由于 get 的结果，就是 json 数据，所以后续只需要针对 json格式进行解析即可：

在这里插入图片描述

格式化后应答数据内容如下：

在这里插入图片描述

5. 第五步：解析 json 结构数据体


json_content = response.json()

print(f'json_content.totalSecurities           = {json_content["totalSecurities"]}')
print(f'json_content.totalRecordNum            = {json_content["totalRecordNum"]}')
print(f'json_content.totalpages                = {json_content["totalpages"]}')
print(f'json_content.data.announcements.size() = {json_content["announcements"]}.size()')

for item in json_content["announcements"]:
    print(f'secCode = {item["secCode"]}, '
          f'secName = {item["secName"]}, '
          f'announcementTitle = {item["announcementTitle"]}')

6. 代码实例以及结果展示


import requests

cookies = {
    'JSESSIONID': 'EF5F553523A7F57931788215EEA38C23',
    'SF_cookie_4': '17470996',
    'insert_cookie': '37836164',
    '_sp_ses.2141': '*',
    'routeId': '.uc2',
    '_sp_id.2141': '97e243ce-8c09-4be7-8850-ec31fc55deb6.1713703123.1.1713703185.1713703123.8e5a815e-52a3-4f02-880b-4bbd541f9bb6',
    'SID': '8fe2c8b0-1f78-4be2-8c4a-c780f514fd6c',
    'cninfo_user_browse': '300229,9900016933,%E6%8B%93%E5%B0%94%E6%80%9D',
}

headers = {
    'Accept': 'application/json, text/javascript, */*; q=0.01',
    'Accept-Language': 'zh-CN,zh;q=0.9',
    'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
    # 'Cookie': 'JSESSIONID=EF5F553523A7F57931788215EEA38C23; SF_cookie_4=17470996; insert_cookie=37836164; _sp_ses.2141=*; routeId=.uc2; _sp_id.2141=97e243ce-8c09-4be7-8850-ec31fc55deb6.1713703123.1.1713703185.1713703123.8e5a815e-52a3-4f02-880b-4bbd541f9bb6; SID=8fe2c8b0-1f78-4be2-8c4a-c780f514fd6c; cninfo_user_browse=300229,9900016933,%E6%8B%93%E5%B0%94%E6%80%9D',
    'Origin': 'http://www.cninfo.com.cn',
    'Proxy-Connection': 'keep-alive',
    'Referer': 'http://www.cninfo.com.cn/new/disclosure/stock?orgId=9900016933&stockCode=300229',
    'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36',
    'X-Requested-With': 'XMLHttpRequest',
}

data = {
    'stock': '300229,9900016933',
    'tabName': 'fulltext',
    'pageSize': '30',
    'pageNum': '1',
    'column': 'szse',
    'category': '',
    'plate': 'sz',
    'seDate': '',
    'searchkey': '',
    'secid': '',
    'sortName': '',
    'sortType': '',
    'isHLtitle': 'true',
}

response = requests.post(
    'http://www.cninfo.com.cn/new/hisAnnouncement/query',
    cookies=cookies,
    headers=headers,
    data=data,
    verify=False,
)

print(f'response= {response}')
print(f'response.text= {response.text}')
# print(f'response.json= {response.json()}')

json_content = response.json()

print(f'json_content.totalSecurities           = {json_content["totalSecurities"]}')
print(f'json_content.totalRecordNum            = {json_content["totalRecordNum"]}')
print(f'json_content.totalpages                = {json_content["totalpages"]}')
print(f'json_content.data.announcements.size() = {json_content["announcements"]}.size()')

for item in json_content["announcements"]:
    print(f'secCode = {item["secCode"]}, '
          f'secName = {item["secName"]}, '
          f'announcementTitle = {item["announcementTitle"]}')

运行结果：

在这里插入图片描述

牛魔王的小怪兽
关注
  • 29
    点赞
  • 踩
  • 31
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Python爬虫-爬取目标城市酒店数据
11-12
通过python爬虫采集城市的酒店数据 内容概要：使用python采集酒店数据 适用人群：做酒店数据市场调研，数据分析报告的人群 使用场景及目标：需要依靠python3环境，执行爬虫脚本 其他说明：需要使用开发者工具捕捉...
python爬虫-爬取火车票.zip
01-21
利用python 爬虫 爬取火车票的数据。值得学习一下！！！
使用Python爬取巨潮资讯网中上市公司的年报，并进行文本分析代码
04-08
该代码用于使用python软件爬取巨潮资讯网中上市公司全部年报的（1）代码使用前 准备：存放上市公司股票代码xlsx文件以及存储爬虫信息xlsx文件；（2）爬取上 市公司年报PDF版本；（3）将PDF转换成本txt格式；（4）进行进一步的jie ba文本分析。使用的软件：Jupyter notebook
python爬虫（一）---之 爬取巨潮资讯网上市公司的年报
最新发布
leiboleiboleibo的博客
04-11 2006
-------------------------------\n".format(len(code_dic)))print("待爬取企业总数量为：{}\n\n ------------------------------------已加载待爬取企业匹配信息，即将开始爬取数据！------------------------------------\n".format(Num))print("-------------------------------------------------程序执行完成！
巨潮资讯网年报爬虫
weixin_56741605的博客
12-28 5156
巨潮资讯网年报爬虫
爬取某公司特定年份年报+年报表格信息提取
Ran_yu的博客
06-20 2509
从巨潮爬取公司年报，利用pdfplumber提取表格信息
Python提取JSON格式数据
菜鸟毅战
04-23 9515
我们经常会用到json数据，json数据格式主要是用来和不同语言之间进行交互比如你要给java端的提供数据，你需要将自己的数据转换为json格式才行所以不管是提供给后端其他人，还是从API返回的数据结果，我们都需要封装成json数据格式或者解析json数据json的数据格式类似于python中的字典，都是key:value，当然value也可以是数组的格式。
python爬虫-爬取豆瓣音乐
05-30
python爬虫-爬取豆瓣音乐
python爬虫-爬取星巴克商品菜单
10-15
python爬虫，爬取星巴克菜单商品所有图片以及名称
Python爬虫 - 爬取百度百科页面.zip
02-02
Python爬虫 - 爬取百度百科页面.zip
【Python爬虫与数据分析】爬虫Json数据解析
phoenixFlyzzz的博客
07-06 6014
Json文件数据解析、Json数据包解析获取图片资源、Json数据包解析获取视频资源
【Python爬虫实战】3.A股上市公司年报关键词词频分析
凌小添的博客
05-11 6921
在前面两篇文章中，我们已经成功用Python爬取到了A股上市公司年报并转换为txt格式，接下来就是对数据的处理，我们以经管类常用的文本挖掘方式为例，编写从多个文本文件中提取关键词并统计词频，然后将结果存储到 Excel 文件中的程序。
第一次Python爬虫练习，爬取上交所的年报问询函
weixin_42599865的博客
03-05 1220
接下来就是获取该Json文件，同时切换不同的页，发现不同页的Json请求网址，只有Page差异，其他地方相同。通过Chrome开发者工具，访问目标网站，点击不同的JS文件，发现标题及下载链接，存储在一个Json文件下。第一次爬虫，会遇到很多报错，不停的调试，去搜寻其他人分享的解决办法，最终顺利实现第一次爬虫。顺利成功爬取问询函。
【python】爬虫基础——JSON、requests、BeautifulSoup、lxml、爬取静态网页
urge的博客
09-18 1964
JSON是⼀种存储和交换数据的语法JSON仅仅是⽂本，它能够轻松地在服务器浏览器之间传输JSON的数据格式其实就是python里面的字典格式。
python爬虫4：json提取数据
qq_48673191的博客
10-08 6248
简洁和清晰的层次结构使得 JSON 成为理想的数据交换语言。易于人阅读和编写，同时也易于机器解析和生成，并有效地提升网络传输效率。稍加分析可以看出，type为热门类型（可选参数为movie,tv），tag为热门电影电视剧的类型（热门，最新，豆瓣高分等参数），page_limit为展示条数，page_start从第几部开始。JSONPath是一种信息抽取类库，是从JSON文档中抽取指定信息的工具，提供多种语言实现版本，包括Javascript、Python、PHP和Java。验证JsonPath的执行效果。
【Python爬虫实战】1.爬取A股上市公司年报链接并存入Excel
热门推荐
凌小添的博客
04-04 1万+
如何用100行代码实现对上市公司年报链接的爬取，简单上手，附源码。
【新人推荐】Python爬取巨潮资讯网指定PDF
weixin_44025904的博客
10-29 1555
由于会计、金融等毕业论文数据需要爬取数据，这里教大家怎么批量简单爬取巨潮咨询网指定的PDF。该例子为获取对应股票对应年份带有“董事会”与“决议会议”的PDF。至此，所有的PDF都已下载到PDF目录下，请读者依据自己需要自行修改文件保存路径以及筛选条件。
A股上市公司年报爬虫项目更新（附数字化转型词频结果）
凌小添的博客
05-31 5109
源代码更新！成品资源一键获取！
python爬虫--房产数据爬取并保存本地
06-08
好的，我可以为您介绍一下如何使用 Python 爬虫来爬取房产数据并保存到本地。 首先，您需要选择一个合适的网站来进行爬取。例如，可以选择链家网、安居客等房产网站。然后，您需要分析该网站的页面结构和数据请求方式，确定需要爬取哪些数据，以及如何获取这些数据。 接着，您可以使用 Python 的 requests 库来发送 HTTP 请求，获取网页内容。然后，可以使用 BeautifulSoup 库来解析网页内容，提取需要的数据。 最后，您可以使用 Python 的 Pandas 库将数据保存到本地的 Excel 或 CSV 文件中。以下是一个示例代码： ```python import requests from bs4 import BeautifulSoup import pandas as pd # 发送 HTTP 请求获取网页内容 url = 'https://bj.lianjia.com/ershoufang/' headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'} response = requests.get(url, headers=headers) soup = BeautifulSoup(response.content, 'html.parser') # 解析网页内容，提取需要的数据 house_list = soup.find_all('div', {'class': 'info'}) data = [] for house in house_list: name = house.find('div', {'class': 'title'}).text.strip() price = house.find('div', {'class': 'price'}).text.strip() area = house.find('div', {'class': 'houseInfo'}).text.strip() data.append([name, price, area]) # 将数据保存到本地文件 df = pd.DataFrame(data, columns=['名称', '价格', '面积']) df.to_excel('house_data.xlsx', index=False) ``` 这是一个简单的示例代码，您可以根据您需要爬取的数据和网站的不同来进行修改和优化。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

牛魔王的小怪兽

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值