Python学习四（爬虫入门、概述、基本流程、BeautifulSoup、re模块）

最新推荐文章于 2024-03-19 20:34:59 发布
最新推荐文章于 2024-03-19 20:34:59 发布
阅读量471 收藏
点赞数
分类专栏： Python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45677119/article/details/110388867
版权

文章目录

Python学习

爬虫

一、概述

爬虫就是一段自动抓取互联网信息的程序，从互联网上抓取对于我们有价值的信息。

二、架构

  1. 调度器：相当于一台电脑的CPU，主要负责调度URL管理器、下载器、解析器之间的协调工作。
  2. URL管理器：包括待爬取的URL地址和已爬取的URL地址，防止重复抓取URL和循环抓取URL，实现URL管理器主要用三种方式，通过内存、数据库、缓存数据库来实现。
  3. 网页下载器：通过传入一个URL地址来下载网页，将网页转换成一个字符串，网页下载器有urllib2（Python官方基础模块）包括需要登录、代理、和cookie，requests(第三方包)
  4. 网页解析器：将一个网页字符串进行解析，可以按照我们的要求来提取出我们有用的信息，也可以根据DOM树的解析方式来解析。网页解析器有正则表达式（直观，将网页转成字符串通过模糊匹配的方式来提取有价值的信息，当文档比较复杂的时候，该方法提取数据的时候就会非常的困难）、html.parser（Python自带的）、beautifulsoup（第三方插件，可以使用Python自带的html.parser进行解析，也可以使用lxml进行解析，相对于其他几种来说要强大一些）、lxml（第三方插件，可以解析 xml 和 HTML），html.parser 和 beautifulsoup 以及 lxml 都是以 DOM 树的方式进行解析的。
  5. 应用程序：就是从网页中提取的有用数据组成的一个应用。

在这里插入图片描述

三、基本流程

1. 准备工作

  1. 通过浏览器的开发者工具分析网页，在Elements下找到需要的数据位置；

  2. 引入和网页爬虫相关的模块

bs4：bs4是一个可以从HTML或XML文件中提取数据的Python库.
xlwt：进行excel操作
re：re 模块使 Python 语言拥有全部的正则表达式功能
urllib：urllib是python内置的HTTP请求库
sqlite3：进行sqlite数据库操作

下载bs4模块：

在这里插入图片描述
下载xlwt模块：

在这里插入图片描述

2. 获取数据（urllib）

一般使用 urllib 库获取页面数据，它是python内置的HTTP请求库，无需安装即可使用，它包含了4个模块：

  • request：它是最基本的http请求模块，用来模拟发送请求；
  • error：异常处理模块，如果出现错误可以捕获这些异常；
  • parse：一个工具模块，提供了许多URL处理方法，如：拆分、解析、合并等；
  • robotparser：主要用来识别网站的robots.txt文件，然后判断哪些网站可以爬。
  1. 获取get请求

示例一：

import urllib.request

class GetHtml(object):
    def __init__(self,URL):
        self.url = URL

    def get_index_get(self):
        self.response = urllib.request.urlopen(self.url)
        return self.response.read()

test_html = GetHtml("http://www.baidu.com")

print(test_html.get_index_get())

运行结果：

在这里插入图片描述
使用utf-8解码：

response.read().decode('utf-8')

运行结果：百度的网页源代码

在这里插入图片描述

示例二：get请求的超时处理

import urllib.request

class GetHtml(object):

    def __init__(self,URL):
        self.url = URL

    def get_index_getTimeout(self):
        try:
            self.response = urllib.request.urlopen(self.url,timeout=0.01)
            print(self.response.read().decode("utf-8"))
        except urllib.error.URLError as e:
            print("Time Out!")


test_html = GetHtml("http://httpbin.org/get")
print(test_html.get_index_getTimeout())

运行结果：

在这里插入图片描述
示例三：

# 获取get请求
import urllib.request

class GetHtml(object):

    def __init__(self,URL):
        self.url = URL

    def get_index_get(self):
        self.response = urllib.request.urlopen(self.url)
        return self.response.read().decode('utf-8')

    def get_index_post(self):
        data = bytes(urllib.parse.urlencode({"hello":"world"}),encoding="utf-8")
        self.response = urllib.request.urlopen(self.url,data= data)
        return self.response.read().decode('utf-8')

    def get_index_getTimeout(self):
        try:
            self.response = urllib.request.urlopen(self.url,timeout=0.01)
            print(self.response.read().decode("utf-8"))
        except urllib.error.URLError as e:
            print("Time Out!")

    def get_index(self):
        self.response = urllib.request.urlopen(self.url)
        # return self.response.status     获取状态码
        return self.response.getheaders() # 获取response headers信息
        # return self.response.getheaders("具体的信息")
test_html = GetHtml("http://www.baidu.com")
print(test_html.get_index())

示例四：使用urllib.request.Request封装

import urllib.request

response = urllib.request.urlopen("http://www.douban.com")
print(response.read().decode("utf-8"))
# 运行结果：418错误，urllib.error.HTTPError: HTTP Error 418:
# 原因该网站对python请求的方式做限制

修改User-Agent，封装url和header：

url="http://www.douban.com"
headers = {
"User-Agent": Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36
}
req = urllib.request.Request(url=url,headers=headers)
response = urllib.request.open(url)
print(response.read().decode("utf-8"))

运行结果：可以获取

在这里插入图片描述

  1. 获取post请求
    httpbin.org 这个网站能测试 HTTP 请求和响应的各种信息，比如 cookie、ip、headers 和登录验证等，且支持 GET、POST 等多种方法。
    post方式必须传递一些表单信息。
import urllib.request

class GetHtml(object):

    def __init__(self,URL):
        self.url = URL

    def get_index_post(self):
        data = bytes(urllib.parse.urlencode({"hello":"world"}),encoding="utf-8")
        self.response = urllib.request.urlopen(self.url,data= data)
        return self.response.read().decode('utf-8')

test_html = GetHtml("http://httpbin.org/post")

print(test_html.get_index_post())

urllib.parse.urlencode里面可以传递用户名密码、cookie等。

运行结果：

在这里插入图片描述

3. 解析内容（BeautifulSoup）
  1. 标签解析：
    使用BeautifulSoup定位特定的标签位置。

BeautifulSoup模块的使用：

# 1. 导入BeautifulSoup库
from bs4 import BeautifulSoup

# 2. 解析内容
soup = BeautifulSoup(html_doc)

# 3. 浏览数据
soup.title         # 获取包含title标签的title
soup.title.string  # 获取title的内容

# 4. 正则使用
soup.find_all(name='x', attrs={'xx':re.compile('xxx')})
  1. 正则提取：
    用来检索、替换某些符合规则的文本，python中使用re模块操作正则表达式。

示例：爬取豆瓣的电影链接

1）从开发者工具查找标签信息

在这里插入图片描述
2）定义搜索链接定义规则，先将所有的div的class="item"过滤出来

from bs4 import BeautifulSoup
# 获取get请求
import urllib.request

url="https://movie.douban.com/top250"
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36"
}
req = urllib.request.Request(url=url,headers=headers)
response = urllib.request.urlopen(req)
# 使用html.parser解析器
soup = BeautifulSoup(response.read().decode('utf-8'),"html.parser")    
# 查找符合要求的字符串,一层一层定义 div 下的 item
for item in soup.find_all('div',class_="item"):
    print(item)

运行结果：

在这里插入图片描述
3）定义规则过滤链接

from bs4 import BeautifulSoup
# 获取get请求
import urllib.request
import re

url="https://movie.douban.com/top250"
# 定义规则
findLink = re.compile(r'<a href="(.*?)">')
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36"
}
req = urllib.request.Request(url=url,headers=headers)
response = urllib.request.urlopen(req)

# print(response.read().decode('utf-8'))
soup = BeautifulSoup(response.read().decode('utf-8'),"html.parser")

for item in soup.find_all('div',class_="item"):
	# 保存爬取信息
    data = []
    item = str(item)    
    link = re.findall(findLink,item)[0]
    data.append(link)
    print(data)

运行结果：

在这里插入图片描述

4. 保存内容

通过xlwt、sqlite3等模块将爬取的内容保存至excel或数据库中。

四、正则表达式

1. 概述

正则表达式是一个特殊的字符序列，它能帮助你方便的检查一个字符串是否与某种模式匹配，re 模块使 Python 语言拥有全部的正则表达式功能。正则语法和之前学习的一样，只不过不同的语言通过不同的工具使用而已。

2. re模块的部分方法
- match和search
# 尝试从字符串的起始位置匹配一个模式，如果不是起始位置匹配成功的话，match()就返回none。
re.match(pattern, string, flags=0)
# 扫描整个字符串并返回第一个成功的匹配
re.search(pattern, string, flags=0)
# 参数：
pattern：匹配的正则表达式
string：要匹配的字符串。
flags：标志位，用于控制正则表达式的匹配方式，如：是否区分大小写，多行匹配等等。
  • 注意：re.match()和re.search()区别

re.match 只匹配字符串的开始，如果字符串开始不符合正则表达式，则匹配失败，函数返回 None，而 re.search 匹配整个字符串，直到找到一个匹配。

- sub

用于替换字符串中的匹配项。

re.sub(pattern, repl, string, count=0, flags=0)
# 参数：
pattern : 正则中的模式字符串。
repl : 替换的字符串，也可为一个函数。
string : 要被查找替换的原始字符串。
count : 模式匹配后替换的最大次数，默认 0 表示替换所有的匹配。
flags : 编译时用的匹配模式，数字形式。
- findall

在字符串中找到正则表达式所匹配的所有子串，并返回一个列表，如果没有找到匹配的，则返回空列表。

re.findall(pattern, string, flags=0)
  • 注意：
    match 和 search 是匹配一次 findall 匹配所有。
- compile

compile 函数用于编译正则表达式，生成一个正则表达式（ Pattern ）对象，供 match() 和 search() 这两个函数使用。

re.compile(pattern,flags)
# 参数
pattern : 一个字符串形式的正则表达式
flags : 可选，表示匹配模式，比如忽略大小写，多行模式等

五、示例

1. 爬取网页课程名称

爬取 ichunqiu 课程名称，抓包分析为POST请求，共有19页，页数由pageIndex变量控制，定制headers并传入data进行爬取：

在这里插入图片描述

import requests
import json
import _thread
import time


def get_lesson_name(data):
    url = "https://www.ichunqiu.com/courses/ajaxCourses"

    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.141 Safari/537.36'
    }

    r = requests.post(url=url, headers=headers, data=data)

    datas = json.loads(r.text)

    name_long = len(datas['course']['result'])

    for i in range(name_long):
        print(datas['course']['result'][i]['courseName'])


if __name__ == '__main__':
    for i in range(1, 20):
        data = {
            'courseTag': '',
            'courseDiffcuty': '',
            'IsExp': '',
            'producerId': '',
            'orderField': '',
            'orderDirection': '',
            'pageIndex': str(i),
            'tagType': '',
            'isOpen': ''
        }
        _thread.start_new_thread(get_lesson_name, (data,))
        time.sleep(0.5)
# python3中使用 _thread模块开启线程：start_new_thread(function, args, kwargs=None)(方法名,参数必须是元组形式)
# 使用_thread不能控制控制线程数，必须加sleep休眠时间

运行结果：

在这里插入图片描述

2. 爬虫下载图片
"""
1. 通过正则表达式匹配所有的图片url
2. 通过for循环将获取的图片url列表存入新的列表并拼接上完整的图片下载url
3. 使用write方法将爬下的完整
"""
# 正则表达式   re模块
import urllib.request
import re

class GetHtml(object):
    def __init__(self,URL,HEADER):
        self.url = URL
        self.header = HEADER

    def get_index(self):
        self.request = urllib.request.Request(self.url)
        self.request.add_header("user-agent",self.header)
        self.response = urllib.request.urlopen(self.url)
        return self.response.read()

    def get_list(self):
        # 定义空列表用来存放图片下载的完整url
        self.string_imglist = []
        # 使用正则表达式匹配所有的图片url
        self.imglist = re.findall("图片的scr的正则表达式.jpg",self.get_index())
        # for循环拼接完整的下载路径
        for i in self.imglist:
            self.string_imglist.append(self.url+str(i,encoding="utf-8"))
            print(self.imglist)
            return self.string_imglist

    def get_image(self):
    	# 下载图片：图片名为从1.jpg递增
        num = 0
        for self.url in self.get_list():
            num += 1
            with open(str(num) + ".jpg","wb") as f:
                f.write(self.get_index())

test_html = GetHtml("网页地址","user-agent具体信息")
test_html.get_image()
python爬虫学习笔记之Beautifulsoup模块用法详解
09-17
**Python 爬虫Beautifulsoup模块详解** 在Python爬虫领域，Beautifulsoup是一个不可或缺的工具，它是一个用于从HTML或XML文件中提取数据的库。它提供了简单的API，使得开发者可以方便地对网页进行导航、搜索和修改...
Python 爬虫：如何用 BeautifulSoup 爬取网页数据
白帽阿叁的博客
09-21 1万+
本文介绍了如何使用 BeautifulSoup 爬取网页数据，并提供了详细的代码和注释。通过本文的学习，读者可以掌握如何使用 BeautifulSoup 解析 HTML 和 XML 文档，从而提取出需要的数据。同时，读者也可以将本文中的代码应用到其他网页数据的爬取中。
Python爬虫re库和beautifulsoup库的应用
立志Java全栈的伦哥哥
04-09 960
python爬虫篇 这篇教程主要包括re库以及BeautifulSoup库。 re库采用raw string类型表示正则表达式，通常被用来检索、替换那些符合某个模式(规则)的文本。 BeautifulSoup支持Python标准库中的HTML解析器,还支持一些第三方的解析器，主要的功能是解析和提取HTML/XML 数据。 re.match的应用 语法：re.match(patter...
Python网络爬虫BeautifulSoup库和Re库入门
Divine0的博客
04-10 1771
目录Beautiful Soup库入门与实战Beautiful Soup库安装Beautiful Soup库的基本元素基于bs4库的HTML内容遍历方法基于bs4库的HTML格式输出基于bs4库的HTML内容查找方法Beautiful Soup库实战之中国大学排名定向爬虫Re库入门与实战 Beautiful Soup库入门与实战 Beautiful Soup库安装 pip install bea...
python爬虫beautifulsoup详细教程
qq_36608036的博客
08-06 2776
BeautifulSoup4是爬虫必学的技能。BeautifulSoup最主要的功能是从网页抓取数据，Beautiful Soup自动将输入文档转换为Unicode编码，输出文档转换为utf-8编码。BeautifulSoup支持Python标准库中的HTML解析器,还支持一些第三方的解析器，如果我们不安装它，则 Python 会使用 Python默认的解析器，但lxml 解析器更加强大，速度更快，推荐使用lxml 解析器。 BeautifulSoup4和 lxml 一样，Beautiful Soup 也是
Beautiful soup的使用方法
fangweijiex的博客
12-27 322
如何使用 将一段文档传入BeautifulSoup 的构造方法,就能得到一个文档的对象, 可以传入一段字符串或一个文件句柄. from bs4 import BeautifulSoup soup = BeautifulSoup(open("index.html")) soup = BeautifulSoup("<html>data</html>") 首...
Python爬虫入门教程：超级简单的Python爬虫教程.pdf
最新发布
03-20
### Python爬虫入门教程知识点详解 #### 一、理解网页结构 在进行Python爬虫开发之前，首先要了解网页...通过以上内容的学习，初学者可以快速掌握Python爬虫的基本操作和技术要点，为后续更深入的学习打下坚实的基础。
使用Python编写爬虫的基本模块及框架使用指南
09-21
本篇文章将重点介绍使用Python编写爬虫时涉及的基本模块及框架，包括urllib、urllib2、re以及Scrapy框架。 首先，我们来看看Python中的基本爬虫模块： 1. **urllib**：这是Python的标准库之一，提供了一系列用于...
python爬虫里信息提取的核心方法: Beautifulsoup、Xpath和正则表达式
LINGOJAMES的博客
06-01 1万+
20170531 这几天重新拾起了爬虫，算起来有将近5个月不碰python爬虫了。 对照着网上的程序和自己以前写的抓图的程序进行了重写，发现了很多问题。总结和归纳和提高学习效果的有效手段，因此对于这些问题做个归纳和总结，一方面总结学习成果，使之成为自己的东西，另一方面希望能够给其他初学爬虫的人一些启发。 爬虫程序核心是对网页进行解析，从中提取出自己想要的信息数据。这些数据可能是网
Python使用requests及BeautifulSoup构建爬虫实例代码
09-20
主要介绍了Python使用requests及BeautifulSoup构建爬虫，介绍了具体操作步骤和实例代码等相关内容，小编觉得还是挺不错的，这里分享给大家，需要的朋友可以参考下
Python(Request和beautifulsoup)的爬虫程序（破产网）
07-16
利用python完成的爬虫示例，使用了request获取网页信息并利用beautifulsoup解析html，利用pandas清洗数据后把破产案件信息整理为csv文件保存。 -支持手动输入案件的时间和要爬取的页码数。 -Selenium版本还在修改
【Python爬虫】详解BeautifulSoup()及其方法
小吉妙妙屋
03-19 3215
使用 BeautifulSoup，你可以将 HTML 或 XML 文档加载到解析树中，并使用类似于 DOM（文档对象模型）的方式来遍历和搜索文档的结构。然后，你可以使用各种方法和属性来定位、提取和操作文档中的元素和数据。总的来说，BeautifulSoup 是一个功能强大且易于使用的工具，用于解析和处理 HTML、XML 等文档，并从中提取所需的数据。由于link标签里面的链接中有a字母，所以link标签也被选出来了。我们查找a标签，head标签里面有a这个 字母，所以被选出来了。
Python数据采集1-BeautifulSoup
FlySky1991的专栏
09-30 520
1**.网络数据采集：**是一种通过多种手段收集网络数据的方式。最常用的方法是写一个自动化程序向网络服务器请求数据（通常是用HTML表单或其他网页文件），然后是对数据进行解析，提取所需要的信息。 2.网络爬虫工作流程： （1）通过网站域名获取HTML数据； （2）根据目标信息解析数据； （3）存储目标信息； （4）如有必要，转到另一个页面重复上述过程。 3.正则表达式： （1）正则字符
爬虫解析提取数据的四种方法
Python中文社区
03-10 1万+
一、分析网页以经典的爬取豆瓣电影 Top250 信息为例。每条电影信息在 ol class 为 grid_view 下的 li 标签里，获取到所有 li 标签的内容，然后遍历，就可以从中提...
BeautifulSoup使用大致流程
Xiang_lhh的博客
04-06 3221
使用BeautifulSoup流程 from bs4 import BeautifulSoup import time import requests url='https://blog.csdn.net/Xiang_lhh/article/details/104940609' resp=requests.get(url).text result=BeautifulSoup(resp,'lxml'...
Beautifulsoup爬虫步骤
IY的博客
04-18 572
Beautifulsoup爬虫步骤需要的库： requests bs4 Beautifulsoup大概思路：使用requests模块向网站发送请求，提取返回内容，并且转化为标准HTML文档，使用Beautifulsoup的函数提取网页元素。 结合文档TAG，就能快捷的提取网页元素。 ＞from bs4 import BeautifulSoup ＞brken_html＝’＜ulclass=co
爬虫的基本流程
热门推荐
CSDN
05-12 3万+
爬虫的基本流程: 1.发起请求： 通过HTTP库向目标站点发起请求，即发送一个Request，请求可以包含额外的headers、data等信息，然后等待服务器响应。这个请求的过程就像我们打开浏览器，在浏览器地址栏输入网址：www.baidu.com，然后点击回车。这个过程其实就相当于浏览器作为一个浏览的客户端，向服务器端发送了 一次请求。 2.获取响应内容： 如果服务器能正常响应，我们会得...
Python中Beautiful Soup库详细教程
PythonWeb实践
09-23 5567
Python中Beautiful Soup库详细教程
Python爬虫入门：BeautifulSoup4模块安装与实战教程
Beautiful Soup是Python爬虫开发中的关键工具，其简洁易用的API使得数据抓取任务变得相对简单，无论是初学者还是经验丰富的开发者都能快速上手。掌握这个模块对于构建高效的网络数据抓取应用至关重要。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值