Python 数据采集

import time
from urllib import request
from bs4 import BeautifulSoup
from openpyxl import Workbook

# 写入表格
# 1、创建wb对象
wb = Workbook()
# 2、创建表格
sheet = wb.create_sheet('XXX',index=0)
# 3、列标题
row = ['XXX','XXX']
sheet.append(row)# 添加行信息
# 批量采集
i = 1152982
while i < 1153073:
    # 计时5秒后继续
    time.sleep(5)
    # 4、第二行内容
    row = []
    try:
        url = 'https://www.1XXX.com/zlts/20240401/%d.shtml'%i  # 抓取信息的网站url
        headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.0.0 Safari/537.36'
        }
        # 封装rq对象
        rq = request.Request(url, headers=headers)
        # 打开网页
        resp = request.urlopen(rq)
        # 读取信息
        msg = resp.read().decode('gb2312')  # 转码，查看源代码meta中的charset
        # print(msg)
        # 采集指定内容
        # 1、创建bf对象
        bf = BeautifulSoup(msg, "html.parser")  # 以html的格式交给bf对象
        # 2、分析源代码，提取内容
        text01 = bf.find_all('h1', id='newstitle')
        # print(text01)  # 列表；[<h1 id="newstitle">XXX</h1>]
        # \xa0 是不间断空白符
        text01 = text01[0].text.replace('\xa0' * 8, '\n\n').strip()  # 换行符替换大量不间断空格，方便录入表格
        print(text01)  # 文本：XXX
        row.append(text01)
        # 采集内容
        text02 = bf.find_all('div', class_='tsnr')
        text02 = text02[0].text.replace('\xa0' * 8, '\n\n').strip()
        print(text02)
        row.append(text02)
        print()
        sheet.append(row)
        i += 1
    except:
        print("%d无数据"%i)
        print()
        i +=1

# 5、保存表格
wb.save(r'XXX.xlsx')

友情提示：合理合法使用相关技术