python网页正则表达式抓取_Python使用正则表达式获取网页中所需要的信息

使用正则表达式的几个步骤：

1、用import re 导入正则表达式模块；

2、用re.compile()函数创建一个Regex对象；

3、用Regex对象的search()或findall()方法，传入想要查找的字符串，返回一个Match对象；

4、调用Match对象的group()方法，返回匹配到的字符串。

在交互式环境中简单尝试一下，查询字符串中的固话：

返回的结果，是这样的：

findall()方法返回的是一个字符串，可以直接打印出来。而search()方法返回的是一个对象，所以打印出来的是是如图的第二行。

调用group()，对象返回匹配的结果。

最后，小王的电话之所以没有匹配到，是因为'-'没有进行可选即在其后加上‘？'。

下面进行一个小的实验，获取某个网页中所有的http/https网址，并计算有多少个。

首先是获取HTML文件。这里要用到requests模块。

这里get_html函数返回的，其实就类似上面例子中的text，用来匹配的文本。

然后，创建正则表达式：

这里向re.compile(),传入变量re.VERBOSE，作为第二个参数，可以将正则表达式放在多行，并进行注释，如上。

返回一个matchs列表对象。

再来个启动函数。

这里传入的url是我随意找的一个新闻链接。

然后调用get_html()和get_addr()，就得到了想要的东西。str(len(b))，为统计的数量。

测试的结果是类似这样的：

这里似乎获取一些URL，没什么卵用。。。但是，如果结合前面的查询新闻列表的方式，获取批量url，

而创建的正则是xxx.jpg，然后调用os模块，os.mkdir(folder)、os.chdir(folder)，将获取到的匹配结果写入文件，放入某个文件夹。

那么就可以实现，从某些网站上批量获取jpg图片，然后存入某个文件夹的爬虫功能。实测，可行！

总结

以上所述是小编给大家介绍的Python使用正则获取网页中所需要的信息，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对服务器之家网站的支持！

原文链接：http://www.cnblogs.com/fqxtony/p/8373511.html