Python爬虫

一、简介

一、什么是爬虫

爬虫：一段自动抓取互联网信息的程序，从互联网上抓取对于我们有价值的信息

二、Python爬虫架构

Python爬虫架构主要由五个部分组成，分别是调度器、URL管理器、网页下载器、网页解析器、应用程序（爬取的有价值数据）。

调度器：相当于一台电脑的CPU，主要负责调度URL管理器、下载器、解析器之间的协调工作。

URL管理器：包括待爬取的URL地址和已爬取的URL地址，防止重复抓取URL和循环抓取URL，实现URL管理器主要用三种方式，通过内存、数据库、缓存数据库来实现。

网页下载器：通过传入一个URL地址来下载网页，将网页转换成一个字符串，网页下载器有urllib2（Python官方基础模块）包括需要登录、代理、和cookie，requests(第三方包)

网页解析器：将一个网页字符串进行解析，可以按照我们的要求来提取出我们有用的信息，也可以根据DOM树的解析方式来解析。网页解析器有正则表达式（直观，将网页转成字符串通过模糊匹配的方式来提取有价值的信息，当文档比较复杂的时候，该方法提取数据的时候就会非常的困难）、html.parser（Python自带的）、beautifulsoup（第三方插件，可以使用Python自带的html.parser进行解析，也可以使用lxml进行解析，相对于其他几种来说要强大一些）、lxml（第三方插件，可以解析xml和HTML），html.parser和beautifulsoup以及lxml都是以DOM树的方式进行解析的。

应用程序：就是从网页中提取的有用数据组成的一个应用。

robots协议
robots协议也叫robots.txt（统一小写）是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的漫游器（又称网络蜘蛛），此网站中的哪些内容是不应被搜索引擎的漫游器获取的，哪些是可以被漫游器获取的。因为一些系统中的URL是大小写敏感的，所以robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下。如果想单独定义搜索引擎的漫游器访问子目录时的行为，那么可以将自定的设置合并到根目录下的robots.txt，或者使用robots元数据（Metadata，又称元数据）。

robots协议并不是一个规范，而只是约定俗成的，所以并不能保证网站的隐私。

当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在 robots.txt ，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范 围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令 保护的页面。
robots文件语法
User-agent:[*|agent_name] 这里的 * 代表的所有的搜索引擎种类， * 是一个通配符
Disallow:[/dir_name/] 这里定义是禁止爬寻 dir_name 目录下面的目录
Allow: [/dir_name/ 这里定义是允许爬寻 dir_name 的整个目录

二、爬虫实践

1、环境搭建

用conda创建虚拟环境；

激活虚拟环境；

安装包
conda install -n crawler requests

conda install -n crawler beautifulsoup4

返回base环境；

安装nb_conda

在crawler虚拟环境下安装ipykernel’

安装tqdm

安装 html5lib

2、爬虫实现

打开Jupyter
在新建的虚拟环境创建

输入代码：

import requests
from bs4 import BeautifulSoup
import csv
from tqdm import tqdm
 
# 模拟浏览器访问
Headers = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3741.400 QQBrowser/10.5.3863.400'
 
# 表头
csvHeaders = ['题号', '难度', '标题', '通过率', '通过数/总提交数']
 
# 题目数据
subjects = []
 
# 爬取题目
print('题目信息爬取中：\n')
for pages in tqdm(range(1, 11 + 1)):
 
    r = requests.get(f'http://www.51mxd.cn/problemset.php-page={pages}.htm', Headers)
 
    r.raise_for_status()
 
    r.encoding = 'utf-8'
 
    soup = BeautifulSoup(r.text, 'html5lib')
 
    td = soup.find_all('td')
 
    subject = []
 
    for t in td:
        if t.string is not None:
            subject.append(t.string)
            if len(subject) == 5:
                subjects.append(subject)
                subject = []
 
# 存放题目
with open('NYOJ_Subjects.csv', 'w', newline='') as file:
    fileWriter = csv.writer(file)
    fileWriter.writerow(csvHeaders)
    fileWriter.writerows(subjects)
 
print('\n题目信息爬取完成！！！')

抓取我们学校的新闻网站信息
http://news.cqjtu.edu.cn/xxtz.htm

输入代码;

import requests
from bs4 import BeautifulSoup
import csv
from tqdm import tqdm
import urllib.request, urllib.error  # 制定URL 获取网页数据
 
# 所有新闻
subjects = []
 
# 模拟浏览器访问
Headers = {  # 模拟浏览器头部信息
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36 Edg/95.0.1020.53"
}
 
# 表头
csvHeaders = ['时间', '标题']
 
 
print('信息爬取中：\n')
for pages in tqdm(range(1, 65 + 1)):
    # 发出请求
    request = urllib.request.Request(f'http://news.cqjtu.edu.cn/xxtz/{pages}.htm', headers=Headers)
    html = ""
    # 如果请求成功则获取网页内容
    try:
        response = urllib.request.urlopen(request)
        html = response.read().decode("utf-8")
    except urllib.error.URLError as e:
        if hasattr(e, "code"):
            print(e.code)
        if hasattr(e, "reason"):
            print(e.reason)
    # 解析网页
    soup = BeautifulSoup(html, 'html5lib')
 
    # 存放一条新闻
    subject = []
    # 查找所有li标签
    li = soup.find_all('li')
    for l in li:
        # 查找满足条件的div标签
        if l.find_all('div',class_="time") is not None and l.find_all('div',class_="right-title") is not None:
            # 时间
            for time in l.find_all('div',class_="time"):
                subject.append(time.string)
            # 标题
            for title in l.find_all('div',class_="right-title"):
                for t in title.find_all('a',target="_blank"):
                    subject.append(t.string)
            if subject:
                print(subject)
                subjects.append(subject)
        subject = []
 
# 保存数据
with open('cqjtu_news.csv', 'w', newline='') as file:
    fileWriter = csv.writer(file)
    fileWriter.writerow(csvHeaders)
    fileWriter.writerows(subjects)
 
print('\n信息爬取完成！！！')
 
 

运行；

参考

https://blog.csdn.net/sinat_29957455/article/details/70846427
https://blog.csdn.net/dedsec0x/article/details/121418146