python爬虫入门

最新推荐文章于 2024-08-26 13:41:43 发布

dedsec0x

最新推荐文章于 2024-08-26 13:41:43 发布

阅读量236

点赞数

文章标签： opencv 计算机视觉 python

本文链接：https://blog.csdn.net/dedsec0x/article/details/121418146

版权

一、前言

爬虫是什么

网络爬虫（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

爬虫的分类

通常来说，网络爬虫可以分为以下几类：

通用网络爬虫

增量爬虫

垂直爬虫

Deep Web 爬虫

通用网络爬虫

通用网络爬虫又称全网爬虫（Scalable Web Crawler），爬行对象仍一些种子 URL 扩充到整个 Web，主要为门户站点搜索引擎和大型 Web 服务提供商采集数据。

通用网络爬虫根据预先设定的一个或若干初始种子URL开始，以此获得初始网页上的URL列表，在爬行过程中不断从URL队列中获取一个URL，进而

访问并下载该页面。

增量爬虫

增量式网络爬虫（Incremental Web Crawler）是指对已下载网页采取增量式更新和叧爬行新产生的或者已经发生发化网页的爬虫，它能够在一定程度上保证所爬行的页面是尽可能新的页面。

增量式爬虫有两个目标：保持本地页面集中存储的页面为最新页面和提高本地页面集中页面的质量。

通用的商业搜索引擎如谷歌，百度等，本质上都属于增量爬虫。

垂直爬虫

垂直爬虫，又称为聚焦网络爬虫（Focused Crawler），或主题网络爬虫（Topical Crawler）是指选择性地爬行那些预先定义好的主题相关页面的网络爬虫。如Email地址、电子书、商品价格等。

爬行策略实现的关键是评价页面内容和链接的重要性，不同的方法计算出的重要性不同，由此寻致链接的访问顺序也不同。

Deep Web 爬虫

Deep Web 是那些大部分内容不能通过静态链接获取的、隐藏在搜索表单后的，只有用户提交些关键词才能获得的Web 页面。

Deep Web 爬虫爬行过程中最重要部分就是表单填写，包含两种类型：

1) 基于领域知识的表单填写

2) 基与网页结构分析的表单填写

robots协议

robots协议也叫robots.txt（统一小写）是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的漫游器（又称网络蜘蛛），此网站中的哪些内容是不应被搜索引擎的漫游器获取的，哪些是可以被漫游器获取的。因为一些系统中的URL是大小写敏感的，所以robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下。如果想单独定义搜索引擎的漫游器访问子目录时的行为，那么可以将自定的设置合并到根目录下的robots.txt，或者使用robots元数据（Metadata，又称元数据）。

robots协议并不是一个规范，而只是约定俗成的，所以并不能保证网站的隐私。

当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在 robots.txt ，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。

robots文件语法

User-agent:[*|agent_name] 这里的 * 代表的所有的搜索引擎种类， * 是一个通配符

Disallow:[/dir_name/] 这里定义是禁止爬寻 dir_name 目录下面的目录

Allow: [/dir_name/ 这里定义是允许爬寻 dir_name 的整个目录

爬虫的基本架构

网络爬虫通常包含四个模块：

URL 管理模块

下载模块

解析模块

存储模块

二、编写一个简单的爬虫

建立虚拟环境

首先用conda建立一个名为crawler的python虚拟环境，键入命令

conda create -n crawler python=3.7

安装好之后激活你的虚拟环境

activate crawler

在新建的虚拟环境下安装以下的包

conda install -n crawler requests
conda install -n crawler beautifulsoup4

在jupyter下切换虚拟环境

首先返回base虚拟环境，在base环境中安装nb_conda

conda install nb_conda

在conda虚拟环境crawler中安装’ipykernel’

conda install -n crawler ipykernel

然后打开jupyter

这样就可以在新的虚拟环境下创建项目了

代码实现

在crawler下创建一个项目，在项目中输入以下代码

import requests
from bs4 import BeautifulSoup
import csv
from tqdm import tqdm

# 模拟浏览器访问
Headers = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3741.400 QQBrowser/10.5.3863.400'

# 表头
csvHeaders = ['题号', '难度', '标题', '通过率', '通过数/总提交数']

# 题目数据
subjects = []

# 爬取题目
print('题目信息爬取中：\n')
for pages in tqdm(range(1, 11 + 1)):

    r = requests.get(f'http://www.51mxd.cn/problemset.php-page={pages}.htm', Headers)

    r.raise_for_status()

    r.encoding = 'utf-8'

    soup = BeautifulSoup(r.text, 'html5lib')

    td = soup.find_all('td')

    subject = []

    for t in td:
        if t.string is not None:
            subject.append(t.string)
            if len(subject) == 5:
                subjects.append(subject)
                subject = []

# 存放题目
with open('NYOJ_Subjects.csv', 'w', newline='') as file:
    fileWriter = csv.writer(file)
    fileWriter.writerow(csvHeaders)
    fileWriter.writerows(subjects)

print('\n题目信息爬取完成！！！')

运行项目

打开生成的csv文件就可以看到我们爬取的信息了

接着我们来爬取学校新闻网站的信息

信息通知-重庆交通大学新闻网

复制以下代码

import requests
from bs4 import BeautifulSoup
import csv
from tqdm import tqdm
import urllib.request, urllib.error  # 制定URL 获取网页数据

# 所有新闻
subjects = []

# 模拟浏览器访问
Headers = {  # 模拟浏览器头部信息
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36 Edg/95.0.1020.53"
}

# 表头
csvHeaders = ['时间', '标题']


print('信息爬取中：\n')
for pages in tqdm(range(1, 65 + 1)):
    # 发出请求
    request = urllib.request.Request(f'http://news.cqjtu.edu.cn/xxtz/{pages}.htm', headers=Headers)
    html = ""
    # 如果请求成功则获取网页内容
    try:
        response = urllib.request.urlopen(request)
        html = response.read().decode("utf-8")
    except urllib.error.URLError as e:
        if hasattr(e, "code"):
            print(e.code)
        if hasattr(e, "reason"):
            print(e.reason)
    # 解析网页
    soup = BeautifulSoup(html, 'html5lib')

    # 存放一条新闻
    subject = []
    # 查找所有li标签
    li = soup.find_all('li')
    for l in li:
        # 查找满足条件的div标签
        if l.find_all('div',class_="time") is not None and l.find_all('div',class_="right-title") is not None:
            # 时间
            for time in l.find_all('div',class_="time"):
                subject.append(time.string)
            # 标题
            for title in l.find_all('div',class_="right-title"):
                for t in title.find_all('a',target="_blank"):
                    subject.append(t.string)
            if subject:
                print(subject)
                subjects.append(subject)
        subject = []

# 保存数据
with open('cqjtu_news.csv', 'w', newline='') as file:
    fileWriter = csv.writer(file)
    fileWriter.writerow(csvHeaders)
    fileWriter.writerows(subjects)

print('\n信息爬取完成！！！')

运行