【Python】批量提取指定网站上的特定信息

最新推荐文章于 2023-06-05 16:56:23 发布

每天都要学Python

最新推荐文章于 2023-06-05 16:56:23 发布

阅读量1.2k

点赞数 1

分类专栏：网络爬虫文章标签： python 爬虫 html

本文链接：https://blog.csdn.net/weixin_42358077/article/details/120683879

版权

Python爬虫 requests BeautifulSoup 网页数据抓取自动化

关键词由CSDN通过智能技术生成

介绍

理论上，凡是重复且有规律的事情都可以用编程来解决，编程的优势也在于可以大大降低我们在繁琐事情上所耗费的时间和精力。

在这里插入图片描述

例如上图的网页，其中包含的表格有四千多页，并且没有提供所有表格信息的下载按钮，只能一页一页去复制，这时候，我们用爬虫就可以非常简单地解决这个问题：利用requests库获取网页内容，利用beautifulsoup库解析和获取网页中我们需要的信息，最后将其输入到一个文件中，针对多个网页只需要循环上述步骤即可。

脚本内容

#!/usr/bin/env python3
# -*- coding: utf-8 -*-
'''
Author: Guo Yingwei
Date: 2021-10-09 16:40:07
E-mail: willgyw@126.com
Description:  
LastEditors: gyw
LastEditTime: 2021-10-09 20:57:34
'''
import requests
from bs4 import BeautifulSoup
import requests.packages.urllib3
#import codecs
import re

def get_page(url):
    try:
        kv = {
   'user-agent':'Mozilla/5.0'}
        requests.packages.urllib3.disable_warnings()