Python 爬虫接单系列——抓包与 requests 库

最新推荐文章于 2024-07-21 03:56:56 发布

CSU_THU_SUT

最新推荐文章于 2024-07-21 03:56:56 发布

阅读量876

点赞数 1

分类专栏： Python_AI 文章标签： python 爬虫开发语言

本文链接：https://blog.csdn.net/weixin_45651194/article/details/128535889

版权

Python_AI 专栏收录该内容

8 篇文章 1 订阅

订阅专栏

该文介绍了如何使用Python的requests库进行网络请求，抓取特定URL的数据，并将提取的信息（如ps_name,create_time,fullregion_name）保存到trash.csv文件中。此过程涉及动态数据处理和静态数据存储。

摘要由CSDN通过智能技术生成

一、静态数据与动态数据

二、抓包并找到所需的 url 请求

import requests # 发送网络请求的工具包

url = 'https://ljgk.envsc.cn/OutInterface/GetPSList.ashx?regionCode=0&psname=&SystemType=C16A882D480E678F&sgn=53714a5a671094f0713121b8aa80c968545dda81&ts=1672728797782&tc=51567022'
resp = requests.get(url)
data = resp.json()

for i in data:
    ps_name = i['ps_name']
    create_time = i['create_time']
    fullregion_name = i['fullregion_name']
    with open('trash.csv', 'a+') as file: # 保存文件到 trash.csv
        file.write('{}, {}, {}\n'.format(ps_name, create_time, fullregion_name))