requests、BeautifulSoup结合pandas.DataFrame将爬取到的多页数据保存到Excel表

最新推荐文章于 2024-05-27 11:46:22 发布

数能工作室

最新推荐文章于 2024-05-27 11:46:22 发布

阅读量1.1k

点赞数 1

分类专栏：网络爬虫

本文链接：https://blog.csdn.net/football_game/article/details/112783278

版权

本文介绍如何利用requests库获取网页数据，结合BeautifulSoup解析HTML，再通过pandas将数据整理成DataFrame，最后保存到Excel文件，实现多页数据的高效爬取和存储。

摘要由CSDN通过智能技术生成

# 将抓取的数据分为不同的类别，将单个数据转换为2D列表以在数据pandas数据帧中使用的方法。

from bs4 import BeautifulSoup
import csv
import re
import pandas as pd
import requests
from time import sleep
from tqdm import tqdm  # 显示进度条


url = "https://www.kpaa.or.kr/kpaa/eng/list.do?"
headers = {
   
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.141 Safari/537.36'
    }
pbar = tqdm(total=100)  # 显示进度条，ctrl+alt+t
for page in range(390)<