爬虫

最新推荐文章于 2024-04-10 11:05:40 发布

Float_Dreaming

最新推荐文章于 2024-04-10 11:05:40 发布

阅读量105

点赞数

文章标签： redis

本文链接：https://blog.csdn.net/Float_Dreaming/article/details/117032456

版权

本文详细介绍了使用Python进行网络爬虫的步骤，从导入所需库开始，接着获取网页内容，然后解析内容，提取有价值信息。通过主函数协调整个流程，最后将爬取的数据存储到Redis数据库中，实现高效的数据管理。

摘要由CSDN通过智能技术生成

1、导入第三方库

import requests
import json
from bs4 import BeautifulSoup
import re
import time
import os
import pandas as pd
import random

2、获取网页内容

def fetchURL(url):
    '''
    功能：访问 url 的网页，获取网页内容并返回
    参数：
        url ：目标网页的 url
    返回：目标网页的 html 内容
    '''
    headers = {
        'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.212 Safari/537.36',
    }
    
    try:
        r = requests.get(url,headers=headers)
        r.raise_for_status()
        return r.text
    except requests.HTTPError as e:
        print(e)
        print("HTTPError")
    except requests.RequestException as e: