Python爬虫正则表达式的使用

最近初学Python，使用到正则表达式，它是一个很强大的字符串处理工具，几乎任何关于字符串的操作都可以使用正则表达式来完成，作为一个爬虫工作者，每天和字符串打交道，正则表达式更是不可或缺的技能，正则表达式的在不同的语言中使用方式可能不一样，不过只要学会了任意一门语言的正则表达式用法，其他语言中大部分也只是换了个函数的名称而已，本质都是一样的。下面，我来介绍一下python中的正则表达式是怎么使用的。好了，接下来我们实践一下：

首先，安装Python环境，我是Ubuntu16.04 的环境，我安装的是稳定版的2.7的：

先更新源，然后执行下面的命令：

sudo apt-get install python2.7

安装完成后可以查看版本：

 

好了，环境搭建好了。

 

接着 安装mysql驱动，安装如下：

sudo apt-get install libmysqlclient-dev

最后安装

sudo pip install MySQL-python

 

我们在安装python开发工具：pycharm;下载64位的，直接安装即可。

接下来我要爬的是一个 网站的xml数据。无意中发现的。一个彩票网站的数据

查询的时候，看到接口ajax返回的是一个xml文件：

 

 

 

 

好了，根据以上信息，我现在可以把这些信息爬出来入库：

 

 

 

 

 

接着执行脚本：

 

 

 

 

 

再看数据库：

 

数据被拉下来了，大概1800多条。以上主要是用到正则表达式：

 

 

 

以上就是一些简单的爬虫应用，实际当中运用起来远没有这么简单，尤其是在大数据越来越发展的今天，会有更多的新的用途。