爬虫-Python编程入门

最新推荐文章于 2024-06-19 17:27:45 发布

J-JMF

最新推荐文章于 2024-06-19 17:27:45 发布

阅读量531

点赞数

分类专栏：网络通信编程文章标签：爬虫 python 开发语言

本文链接：https://blog.csdn.net/jmflfzyf/article/details/122411717

版权

本文介绍了Python爬虫的基本概念，包括URL的组成，并通过实例讲解了如何爬取特定网站的数据，包括练习题目和消息通知的发布日期与标题。学习爬虫时，需要查看网页源代码，理解信息所在标签，从而提取所需内容。

摘要由CSDN通过智能技术生成

爬虫-Python编程入门

一、爬虫
二、爬取网站 http://www.51mxd.cn/练习题目数据并保存
三、爬取网站http://news.cqjtu.edu.cn/xxtz.html中近几年的消息通知的发布日期和标题
总结
参考文章

一、爬虫

网络爬虫，也叫网络蜘蛛（Web Spider）。它根据网页地址（URL）爬取网页内容，而网页地址（URL）就是我们在浏览器中输入的网站链接。

URL 的格式主要由前个三部分组成：
protocol：第一部分就是协议，例如百度使用的就是https协议；
hostname[:port]：第二部分就是主机名（还有端口号为可选参数），一般网站默认的端口号为80，例如百度的主机名就是www.baidu.com，这个就是服务器的地址；
path：第三部分就是主机资源的具体地址，如目录和文件名等。

二、爬取网站 http://www.51mxd.cn/练习题目数据并保存

# -*- coding: utf-8 -*-
"""
Created on Sun Nov 14 20:50:12 2021

@author: hp
"""
import requests
from bs4 import BeautifulSoup
import csv
from tqdm import tqdm

# 模拟浏览器访问
Headers = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3741.400 QQBrowser/10.5.3863.400'

# 表头
csvHeaders = ['题号', '难度', '标题', '通过率', '通过数/总提交数']

# 题目数据
subjects = []

# 爬取题目
print('题目信息爬取中：\n')
for pages in tqdm(range(1, 11 + 1)):

    r = requests.get(f'http://www.51mxd.cn/problemset.php-page={
     pages}.htm', Headers)

    r.raise_for_status