python-19：使用正则表达式从源码中获取想要的内容

最新推荐文章于 2024-08-15 01:55:01 发布

weixin_34378969

最新推荐文章于 2024-08-15 01:55:01 发布

阅读量327

点赞数

文章标签： python 爬虫

原文链接：https://my.oschina.net/u/2429887/blog/535193

版权

2019独角兽企业重金招聘Python工程师标准>>>

"使用正则表达式从源码中获取想要的内容"

这是python爬虫的第二个重要内容，第一个是怎么分析网页源码，包括使用各种工具分析网页源码

首先还是确定我们要从网页中获取什么内容，希望大家还没有忘记

"发布人，发布内容，点赞数，评论数"

为了能更容易的上手，我这里先跟大家说两个常用的匹配公式，毕竟在很多很多的匹配中，用这两个公式已经能够满足我们的需求

1. .*? 是一个固定的搭配，.和*代表可以匹配任意无限多个字符，加上？表示使用非贪婪模式进行匹配，也就是我们会尽可能短地做匹配，以后我们还会大量用到 .*? 的搭配

2. (.*?)加了一个括号表示将匹配到的内容返回，一个(.*?)代表一个分组，就是一个返回来的值，如果在这个正则表达式中我们匹配了4个分组，在后面的遍历item中，item[0]就代表第一个(.*?)所指代的内容，item[1]就代表第二个(.*?)所指代的内容，以此类推

好了，好好记住这两个公式代表的含义，然后我们开始正则表达式匹配吧

为了简单起见，这里使用获取发布人信息作为例子，因为贴上太多的网页源码很容易会乱

首先对例子中出现的发布人信息感到抱歉，本无意冒犯

--------------------带有发布人信息的网页源码---------------------------
<div class="author clearfix">
<a href="/users/29037698" target="_blank" rel="nofollow">
<img src="http://pic.qiushibaike.com/system/avtnew/2903/29037698/me
dium/20150715144646.jpg" alt="炒菜X炒股"/>
</a>
<a href="/users/29037698" target="_blank" title="炒菜X炒股">
<h2>炒菜X炒股</h2>
</a>

</div>
----------------------------------end------------------------------

好，我们可以看到这里的发布人"炒菜X炒股"一共出现了三次，实际上，这三次我们都可以作为发布人信息来获取，这意味着有三个正则表达式

<div.*?class="auther.*?<img.*?alt="(.*?)"/>

这是获取第一个发布人信息的正则表达式

1. <div.*?class="auther.*?<img 从<div class="author开始匹配，匹配<div 到<img的内容

2. <img.*?alt=" 匹配<img 到alt=" 之间的内容

3. alt="(.*?)"/> 匹配alt=" 到 "/> 的内容，(.*?) 加了一个括号表示将匹配到的内容返回

4. .*? 最后一个表示匹配剩下的所有内容

<div.*?class="auther.*?<a.*?</a>.*?<a.*?title="(.*?)">.*?

这是获取第二个发布人信息的正则表达式

1. <div.*?class="auther.*?<a 从<div class="author开始匹配，匹配<div 到第一个<a的内容

2. <a.*?</a>.*?<a 为什么要有两个 <a ,我们再来看代码的相应的部分

                                <div class="author clearfix">
---->第一个<a---->   <a href="/users/29037698" target="_blank" rel="nofollow">
 
                               <img src="http://pic.qiushibaike.com/system/avtnew/2903/29037698/medium/20150715144646.jpg"
 alt="炒菜不炒股"/>
                                </a>
---->第二个<a---->   <a href="/users/29037698" target="_blank" title="炒菜不炒股">

代码中有两个<a></a>,而我们要的数据在第二个中，所以，我们要使用RE将第一个表示出来，再表示第二个，不然程序不知道是哪个<a>