python爬虫基础——数据提取与清洗之正则表达式

最新推荐文章于 2024-08-02 15:53:52 发布
最新推荐文章于 2024-08-02 15:53:52 发布
阅读量809 收藏 5
点赞数 1
分类专栏： 爬虫 python 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38950569/article/details/105099750
版权

复习正则表达式：

  

# ？尽可能少的匹配，在上面的案列中，当匹配到第一个div就结束匹配。？关闭贪婪

 

假设这里有一个HTML文件：

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>Title</title>
</head>
<body>
    <footer>
        <div>
            <div class="email">
                Email:kefu@CSDN.net
            </div>
            <div class="tel">
                手机号:400-660-0108
            </div>
        </div>
    </footer>
</body>
</html>

我想要提取Emai，创建一个python文件，import re

import re
with open('index.html','r', encoding='utf_8' ) as f:
    html = f.read()
    #print(html)
    #提取Email: kefu @ CSDN.net
    #过滤空
    html = re.sub('\n', '', html)
    #定义提取
    pattern_1 = '<div class="email">(.*?)</div>'
    #开始提取
    re_1 = re.findall(pattern_1, html)
    #strip()去两边的空，
    print(re_1[0].strip())

匹配一个以字母开头，数字，字母，下划线长度为5-15位的密码

#定义匹配 加r代表防转义
password_pattern = r'^[a-zA-Z][a-zA-Z0-9_]{5,15}$'

password1 = '1234567'
password2 = 'a123456'
password3 = 'a123'
print(re.match(password_pattern, password1))
print(re.match(password_pattern, password2))
print(re.match(password_pattern, password3))

 稍微拓展一下，提取更多的数据，提取商城的分类结构

import  re
with open('static/html/index.html', 'r', encoding='utf-8') as f:
    html = re.sub('\n', '', f.read())
    section_pattern = '<section class="main_section">(.*?)</section>'
    section_s= re.findall(section_pattern, html)
    print(section_s)
    print(len(section_s))
    crategory_pattern = '<h1>(.*?)</h1>'
   # crategory_s = re.findall(crategory_pattern, section_s[0])
    #print(crategory_s)
    course_pattern ='<span class="course_name">(.*?)</span>'
    data_s = []
    for section in section_s:
        crategory = re.findall(crategory_pattern, section)[0]
        course = re.findall(course_pattern, section)
        print(crategory)
        data_s.append(
            {
                'crategory':crategory,
                'course':course
            }
        )
    print(data_s)
    for data in data_s:
        print(data.get('crategory'))
        for d in data['course']:
            print("       "+d)

测试的html

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>CSDN微课商城</title>
    <link rel="stylesheet" href="../css/main.css">
    <script type="text/javascript" src="../js/main.js"></script>
</head>
<body>

<div id="register" hidden="hidden">
    <h2 class="form_p">注册</h2>
    <p id="register_message">
        <!--信息有误-->
    </p>
    <form action="#" method="post" id="register_form">
        <input id="register_account" type="text" name="account" placeholder="账号(数字、英文、下换线，8-16位)"><br/>
        <input id="register_password" type="password" name="password" placeholder="密码(数字、英文、下换线，6-16位)"><br/>
        <!--<input type="password" name="repassword" placeholder="确认密码"><br/>-->
        <input id="register_submit" type="submit" value="注册">
    </form>
</div>

<div id="login" hidden="hidden">
    <h2 class="form_p">登录</h2>
    <p id="login_message">
        <!--信息有误-->
    </p>
    <form action="#" method="post" id="login_form">
        <input id="login_account" type="text" name="account" placeholder="账号"><br>
        <input id="login_password" type="password" name="password" placeholder="密码"><br>
        <input id="login_submit" type="submit" value="登录">
    </form>
</div>

<header>
    <span class="title"> <a href="index.html">CSDN微课商城</a> </span>
    <span>
        <form action="#" class="search_form">
            <input type="text" name="course" placeholder="按课程名称搜索">
            <input type="submit" value="搜索">
        </form>
    </span>
    <span class="user">
        <a href="javascript:show('login')">登录</a>/
        <a href="javascript:show('register')">注册</a>
        <!-- 已经登录显示的内容 -->
        你好：
        <a href="user.html">用户1</a>
        <a href="#">注销</a>
    </span>
</header>

<article>
    <section class="nav_section"><img src="../img/csdn_static/2.png" alt="" width="100%"></section>
    <section class="main_section"><h1>第一章 路由与模板</h1>
        <figure><a href="course.html"> <img src="../img/course/course.png">
            <figcaption><span class="course_name">Web原理与框架简介</span><span class="price">￥75</span></figcaption>
        </a></figure>
        <figure><a href="course.html"> <img src="../img/course/course.png">
            <figcaption><span class="course_name">Django环境搭建与入门案例</span><span class="price">￥153</span></figcaption>
        </a></figure>
        <figure><a href="course.html"> <img src="../img/course/course.png">
            <figcaption><span class="course_name">基本路由映射与命名空间</span><span class="price">￥154</span></figcaption>
        </a></figure>
        <figure><a href="course.html"> <img src="../img/course/course.png">
            <figcaption><span class="course_name">正则路由映射参数的传递与接收</span><span class="price">￥177</span></figcaption>
        </a></figure>
        <figure><a href="course.html"> <img src="../img/course/course.png">
            <figcaption><span class="course_name">反向解析处理器</span><span class="price">￥161</span></figcaption>
        </a></figure>
        <figure><a href="course.html"> <img src="../img/course/course.png">
            <figcaption><span class="course_name">Request对象与Response对象</span><span class="price">￥44</span></figcaption>
        </a></figure>
        <figure><a href="course.html"> <img src="../img/course/course.png">
            <figcaption><span class="course_name">上下文与模板调用</span><span class="price">￥97</span></figcaption>
        </a></figure>
        <figure><a href="course.html"> <img src="../img/course/course.png">
            <figcaption><span class="course_name">模板层基础语法</span><span class="price">￥105</span></figcaption>
        </a></figure>
        <figure><a href="course.html"> <img src="../img/course/course.png">
            <figcaption><span class="course_name">模板过滤器</span><span class="price">￥133</span></figcaption>
        </a></figure>
    </section>
    <section class="main_section"><h1>第二章 模型类实现</h1>
        <figure><a href="course.html"> <img src="../img/course/course.png">
            <figcaption><span class="course_name">ORM原理与数据库配置</span><span class="price">￥143</span></figcaption>
        </a></figure>
        <figure><a href="course.html"> <img src="../img/course/course.png">
            <figcaption><span class="course_name">表与字段的定义和常用字段约束</span><span class="price">￥118</span></figcaption>
        </a></figure>
        <figure><a href="course.html"> <img src="../img/course/course.png">
            <figcaption><span class="course_name">数据迁移与维护</span><span class="price">￥57</span></figcaption>
        </a></figure>
        <figure><a href="course.html"> <img src="../img/course/course.png">
            <figcaption><span class="course_name">模型类的增删改</span><span class="price">￥45</span></figcaption>
        </a></figure>
        <figure><a href="course.html"> <img src="../img/course/course.png">
            <figcaption><span class="course_name">模型类的查询方法</span><span class="price">￥187</span></figcaption>
        </a></figure>
        <figure><a href="course.html"> <img src="../img/course/course.png">
            <figcaption><span class="course_name">QuerySet详解</span><span class="price">￥197</span></figcaption>
        </a></figure>
    </section>
</article>

<footer>
    <div id="footer_div1">
        <p><a href="#">关于我们</a>| <a href="#">招聘</a>| <a href="#">广告服务</a>| <a href="#">网站地图</a></p>
        <p><a href="#">QQ客服</a>| <a href="#">kefu@csdn.ent</a>| <a href="#">客服论坛</a>| <a href="#">400-660-0108</a>| <a
                href="#">工作时间：8:30-22:00</a></p>
        <p> 百度提供站内搜索 北ICP备19004658 </p>
        <p> ©1999-2019 北京创新乐知网络技术有限公司 </p>
        <p> 版权申诉 家长监护 经营性网站备案信息 网络110报警服务 中国互联网举报中心 北京互联网违法和不良信息举报中心 </p>
    </div>
    <div id="footer_div2">
        <figure><img src="../img/csdn_static/二维码1.png">
            <figcaption>CSDN咨询</figcaption>
        </figure>
        <figure><img src="../img/csdn_static/二维码1.png">
            <figcaption>CSDN学院</figcaption>
        </figure>
        <figure><img src="../img/csdn_static/二维码1.png">
            <figcaption>CSDN企业招聘</figcaption>
        </figure>
    </div>
</footer>

</body>
</html>

 

 

 

 

 

 

 

 

 

 

 

赵玉~想要一个定所
关注
专栏目录
Data Analysis学习笔记 --- Python数据清洗正则处理字符串
杨鑫newlife的专栏
04-13 2841
Data Analysis学习笔记 --- Python数据清洗正则处理字符串
（八）python网络爬虫（理论+实战）——html数据解析之“正则表达式”
c1007857613的专栏
02-15 3742
我们这里主要介绍一些基本知识和常用的方法。本节主要是介绍了html数据的基本结构，正则表达式的规则和常用的方法，一开始学习的时候，正则表达式的规则不需要强记，在需要使用的时候再来查询相关文档也是可以的。
Python中利用正则表达式做数据清洗（re）
若如初见
09-21 5551
目录1.常用正则表达式Python中常用正则表达式2.正则表达式做数据清洗2.1 从网页HTML标签中提取文本2.2 去掉英文文章中标点符号，提取词汇2.3 提取以.com结尾的邮箱 1.常用正则表达式 Python中常用正则表达式 2.正则表达式做数据清洗 2.1 从网页HTML标签中提取文本 import re text = "<div><p>\n你好\nPython：</p><p>Python是一种跨平台的计算机程序设计语言。 </p>&lt
Python-正则表达式总结版
weixin_33719619的博客
05-11 152
前言： 总是写不好正则表达式，时间长不用就有些忘记了，故此在总结一篇文章以便日后查阅。 一、常用的匹配规则总结表 模式 描述 \w 匹配字母数字及下划线 \W 匹配非字母数字及下划线 \s 匹配任意空白字符，等价于 [\t\n\r\f]. \S 匹配任意非空字符 \d 匹配任意数字，等价于 [0-9] \D 匹配任意非数字...
Python爬虫数据清洗（学习一点基础的正则表达式）
Artorias的博客
10-13 1086
正则表达式概念 正则表达式是对字符串（包括普通字符（例如，a 到 z 之间的字母）和特殊字符（称为“元字符”））操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。 在python中提供了re 库，它是关于正则表达式的一个库，里面包含了多种字符串匹配的方法，对于网站上爬取数据后清洗处理有很大的帮助。 P...
爬虫mysql数据清洗_正则表达式在Python爬虫、JavaScript、MySQL数据库、数据清洗建模等方面的使用实例...
weixin_42172972的博客
02-05 229
注：本文仅列举的实例，基础知识网上一搜一大把，这里不赘述了。1. Python爬虫中的使用这里面使用比较简单，作为入门用的，比如爬取首页的侧边栏的链接与对应名字：import reImport requestsdef test__re():response = requests.get('https://www..net/')pat = r'(.*?)'rst_lst = re.compile(p...
python3爬虫数据清洗与可视化实战pdf百度云_Python 3爬虫、数据清洗与可视化实战_PDF电子书...
weixin_39580748的博客
11-30 2120
因资源下载地址容易失效，请加微信号359049049直接领取，直接发最新下载地址。前言==============================================================Python 是军刀型的开源工具，被广泛应用于 Web 开发、爬虫、数据清洗、自然语言处理、机器学习和人工智能等方面，而且 Python 的语法简洁易读，这让许多编程入门者不再望而却步，因此...
Python爬虫原理与常用模块——数据提取与清洗策略
学习服务
09-22 4690
1 正则表达式 1.1概念 世界上信息非常多，而我们关注的信息有限。假如我们希望只提取出关注的数据，此时可以通过一些表达式进行提取，正则表达式就是其中一种进行数据筛选的表达式。 正则表达式(Regular Expression)是一种文本模式，包括普通字符（例如，a 到 z之间的字母）和特殊字符（称为"元字符"）。 正则表达式通常被用来匹配、检索、替换和分割那些符合某个模式(规则)的文本 Python 自1.5版本起增加了re模块，它提供Perl风格的正则表达式模式。 re 模块使 Python 语言拥有全
python运用正则表达式进行数据处理
qixinlei的博客
07-16 4523
上一篇：爬虫篇 待处理数据集 处理后数据集 正则表达式，又称规则表达式。（英语：Regular Expression，在代码中常简写为regex、regexp或RE），计算机科学的一个概念。正则表达式通常被用来检索、替换那些符合某个模式(规则)的文本。——百度百科 现在我们处理一下之前所获得的招聘数据，想达到的目标如下： 1.去掉职位中的括号及集中内容 2.薪酬的格式不易统计，改成统一...
4. 正则表达式基础——《跟老吕学Python·初级开发者》
最新发布
Python老吕的博客
08-02 37
预定义的字符集是正则表达式中用于匹配常见字符集合的简写形式，它们提供了一种快速定义字符范围的方法，而无需手动列出所有可能的字符。\w匹配任何字母数字字符，包括下划线。等价于。\w可以匹配"a", “1”, “A”, “_”。\W匹配任何非字母数字字符。它是\w的补集。\W可以匹配"!", " "（空格）, “#”。\s匹配任何空白字符，包括空格、制表符、换行符、回车符等。\s可以匹配" "（空格）, “\t”（制表符）。\S匹配任何非空白字符。它是\s的补集。\S。
正则表达式学习，网络爬虫数据清洗分析都能用到的知识
04-26
正则表达式学习，网络爬虫数据清洗分析都能用到的知识
正则表达式练习文件(清洗)
01-09
正则表达式，re模块，python讲义。有正则，爬虫原理，数据清洗。
Python小白爬虫(二) _使用正则表达式获取页面中我们想要的数据（案例）
10-25
https://blog.csdn.net/qq_36051316/article/details/83375426 这个页面的案例，其实代码已经在页面上有了，这个只是方便哪些复制都不想复制的人。不过，这个东西拿到后就可以运行了，运行前记得导入相应模块 python -m pip install requests 这个是Python3
Python数据提取----正则表达式
mingzme的博客
07-10 565
1. 提取数据 在前面我们已经搞定了怎样获取页面的内容，不过还差一步，这么多杂乱的代码夹杂文字我们怎样把它提取出来整理呢？下面就开始介绍一个十分强大的工具，正则表达式！ 正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。 正则表达式是用来匹配字符串非常强大的工具，在其他编程语言中同样有正则表达式的概念，Python同样不例外，利用了正则表达式，我们想要从返回的页面内容提取出我们想要的内容
python 数据清洗之字符串处理
weixin_34352449的博客
10-03 260
在数据分析中，特别是文本分析中，字符处理需要耗费极大的精力， 因而了解字符处理对于数据分析而言，也是一项很重要的能力。 字符串处理方法 首先我们先了解下都有哪些基础方法 首先我们了解下字符串的拆分split方法 str='i like apple,i like bananer' print(str.split(',')) 对字符str用逗号进行拆分的结果： ['i like apple', 'i...
数据清洗和准备（python)
weixin_42712867的博客
07-18 795
数据清洗和准备
Python爬虫---数据的提取和清洗的正则应用规则
xk1761299425的博客
11-05 815
最近在做一个项目，爬虫获取的数据可谓一锅粥，果断选择了正则表达式，下面是常用的规则： 表达式全集 字符 描述 \ 将下一个字符标记为一个特殊字符、或一个原义字符、或一个向后引用、或一个八进制转义符。例如，“n”匹配字符“n”。“\n”匹配一个换行符。串行“\\”匹配“\”而“\(”则匹配“(”。 ^ 匹配输入字符串的开始位置。如果设置了RegExp对象的Multili...
正则表达式在Python爬虫、JavaScript、MySQL数据库、数据清洗建模等方面的使用实例
weiran2009的博客
08-30 564
  注：本文仅列举的实例，基础知识网上一搜一大把，这里不赘述了。 1. Python爬虫中的使用 这里面使用比较简单，作为入门用的，比如爬取CSDN首页的侧边栏的链接与对应名字： import re Import requests def test_csdn_re():     response = requests.get('https://www.csdn.net/')     p...
Python for Data Analysis 学习心得（四） - 数据清洗、接合
weixin_30325971的博客
12-18 160
一、文字处理 之前在练习爬虫时，常常爬了一堆乱七八糟的字符下来，当时就有找网络上一些清洗数据的方式，这边pandas也有提供一些，可以参考使用看看。下面为两个比较常见的指令，往往会搭配使用。 split（“，”）可以将文字串分割，冒号里的为分割依据，左边的代码就是把两个冒号中间的文字串视为一个单元。 strip（）去除空白符号。 1、正则表达式 正则表达式为处理文字搜索匹配的功能，pyt...
掌握Python爬虫技术——100道经典题目解析
4. 数据提取与清洗：学习使用正则表达式、XPath等工具从网页中提取所需的数据，并进行必要的数据清洗工作，包括去除空白字符、转换数据格式等。 5. 动态内容爬取：针对使用JavaScript动态加载数据的网页，掌握...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值