python 获取数据基本步骤

WandaWang0822

已于 2022-04-02 14:17:38 修改

阅读量2.1k

点赞数 1

分类专栏： python 文章标签： python

于 2022-04-01 20:02:15 首次发布

本文链接：https://blog.csdn.net/never0822/article/details/123906356

版权

本文主要介绍使用Python进行数据获取的基本步骤，包括常见的数据源处理、数据抓取和数据解析等核心内容。适合初学者了解Python在数据获取方面的应用。

摘要由CSDN通过智能技术生成

#加载模块
import requests
import re 
import json
import csv
import pandas as pd
 
#身份伪装，其实没必要
headers={
        'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.82 Safari/537.36'
        }
#请求地址
url='https://voice.baidu.com/act/newpneumonia/newpneumonia/?from=osari_aladin_banner'
 
#发送请求
response=requests.get(url=url,headers=headers)
 
 
#数据解析
data_html=response.text
#【0】转换数据类型从list到str,强大的正则
json_str=re.findall('"component":\[(.*)\],',data_html)[0]
#转换字典
json_dict=json.loads(json_str)
caseList=json_dict['caseList']
 
for case in caseList:
    area=case['area']#
    confirmed=case['confirmed']#
    curConfirm=case['curConfirm']
    asymptomatic=case['asymptomatic']
    crued=case['crued']#
    died=case['died']#
    confirmedRelative=case['confi