python练习1

渣渣龙_

已于 2022-10-04 16:17:33 修改

阅读量72

点赞数

分类专栏： Python 文章标签： python json 开发语言

于 2022-09-30 12:05:49 首次发布

本文链接：https://blog.csdn.net/qq_43231687/article/details/127121354

版权

Python 专栏收录该内容

3 篇文章 0 订阅

订阅专栏


'''
    简单的爬虫代码
    爬取生活垃圾焚烧发电厂的相关信息
'''

# 抓包看xhr 注意筛选network里面的fetch/xhr
# 首先获取url https://ljgk.envsc.cn/OutInterface/GetPSList.ashx?regionCode=0&psname=&SystemType=C16A882D480E678F&sgn=dea0ea339d8ba100a2c1e21c9a59d5f3da1aac58&ts=1664509353632&tc=28675001
# 可以先粘贴到浏览器看看是什么数据
import requests

url = 'https://ljgk.envsc.cn/OutInterface/GetPSList.ashx?regionCode=0&psname=&SystemType=C16A882D480E678F&sgn=dea0ea339d8ba100a2c1e21c9a59d5f3da1aac58&ts=1664509353632&tc=28675001'
# 通过get方法发送请求并得到数据
resp = requests.get(url)
# 如何知道获取的数据是什么？
# print(type(resp.text))
# print(resp.text) #输出的时候是转换成json格式来输出了 本质是一个字符串
# 我们需要的是json格式的数据 下面这个方法将json成字典
datas  = resp.json()

# print(len(datas))
# print(datas)

# 获取相关信息并保存下来
# 是python用来打开本地文件的，它会在使用完毕后，自动关闭文件，无需手动书写close()
# csv是表格文件
# 文件以utf-8编码写入内容 查看文件时也需要utf-8   不写encoding默认是gbk
with open("spider_1.csv","w",encoding='utf-8') as f:
    for data in datas:
        ps_name = data['ps_name']
        address = data['address']
        print(ps_name,address)
        # 大括号占位符
        f.write('{},{}\n'.format(ps_name,address))