手机型号抓取

Code处理结果：DataFrame 及 流程
方式①：每个页面的数据处理成df, 然后再合并df , pd.concat()/ df.append() 循环合并
方式②：原始数据中，每个页面的数据存储在一个列表中，然后页面中的每条数据以字典单元形式盛放在列表中，因此，策略是可以先通过aList.extend(bList)方法，把所有的需要的n个页面中的列表中的字典（每条记录）总体组装在一个总列表中 --》 然后再转成一个总的df
个人感觉方式②的效果会更高效一些 ！！！

import requests
import datetime
import time
import re
import json
import pandas as pd

url = f'http://model.super202.cn/getJixingData.html?page=1&limit=100&sousuo='
requ = requests.get(url)

requ.headers

{'Server': 'nginx', 'Date': 'Mon, 30 Oct 2023 10:47:54 GMT', 'Content-Type': 'text/html; charset=UTF-8', 'Transfer-Encoding': 'chunked', 'Connection': 'keep-alive', 'Vary': 'Accept-Encoding', 'Strict-Transport-Security': 'max-age=31536000', 'Content-Encoding': 'gzip'}

# 每一个页面请求出来的结果
requ.json()['data']
json.loads(requ.text)

# 方式1：

# 初始化
start_num = 1
data = pd.DataFrame()

while 1:
    
    try:
        page_num = start_num
        
        print(f'正在获取{page_num}页……')
        
        url = f'http://model.super202.cn/getJixingData.html?page={page_num}&limit=100&sousuo='
        requ = requests.get(url)
        df = pd.DataFrame(requ.json()['data'])

        if df.shape[0] == 0:
            print(f'{page_num}-数据获取完毕')
            break

        else:
#             data = data.append(df,ignore_index=True) # FutureWarning
            
            data = data = pd.concat([data,df],ignore_index=True) 
             
            start_num = start_num + 1
        
            
    except Exception as e:
        print(str(e))
        break

正在获取1页……
正在获取2页……
正在获取3页……
正在获取4页……
正在获取5页……
正在获取6页……
6-数据获取完毕

# 查看前5行
data[:5]

# 方式2：

# 初始化
start_num = 1

aList =[]

while 1:
    
    try:
        page_num = start_num
        
        print(f'正在获取{page_num}页……')
        
        url = f'http://model.super202.cn/getJixingData.html?page={page_num}&limit=100&sousuo='
        requ = requests.get(url)
        
        bList = json.loads(requ.text)["data"]
        
        

        if len(bList) == 0:
            print(f'{page_num}-数据获取完毕')
            break

        else:   
            aList.extend(bList)
            start_num = start_num + 1
            
    except Exception as e:
        print(str(e))
        break
        

res=pd.DataFrame(aList) 
        
# print(res)
正在获取1页……
正在获取2页……
正在获取3页……
正在获取4页……
正在获取5页……
正在获取6页……
6-数据获取完毕

# 导出结果：

result.to_csv(r'D:\JixingData.csv',encoding='utf_8_sig')

# 单个查询
result.query('jixing=="V2068A"')