你还在手动搜索信息吗？该学习点新东西了—网络爬虫学习之正则表达式的学习和使用

目录

一、Pycharm的安装与配置

二、正则表达式符号与方法

三、正则表达式的应用举例

利用网络爬虫可以获取很多有用的信息，比如整个网站的图片，整个网站的信息，灵活的使用爬虫技术可以让你的学习和工作事半功倍。让我们来一起看看数据爬虫技术的入门知识——正则表达式吧！

一、Pycharm的安装与配置

Pycharm是一个很实用的工具，我们可以在这里面进行编程。

（1）简单了解：Pycharm是由JetBrains开发的Python集成开发环境（IDE）， 支持调试、语法高亮、Project管理、代码跳转、智能提示、自动完成、单元测试、版本控制等常用功能.

方法：直接百度搜索Pycharm官网，下载免费版的软件，安装过程就是无脑next 就可以了。注意：第一次接触爬虫的要下载python络爬虫可以获取很多有用的信息，比如整个网站的图片，整个网站的信息，灵活的使用爬虫技术可以让你的学习和工作事半功倍。我们来一起看看数据爬虫技术的入门知识——正则表达式吧！

方法：直接百度搜索Pycharm官网，下载免费版的软件，安装过程就是无脑next 就可以了。注意：第一次接触爬虫的要下载软件python。这是代码的运行器。没有它代码无法正常运行。

二、正则表达式符号与方法

密码：hadkfalifexxIxxfasdjifja134xxlovexx23345sdfxxyouxx8dfse

解密：I love you 解密方法：找规律    xx需要的内容xx

从上面的例子可以看出，I love you 是我们的所需内容。其实网页数据爬取在一定程度上就是找规律。

下面我们用一个图片网页来说明问题。

首先我们要会查看网页的源代码，打开浏览器，选择要爬取的网页，进入开发者模式。

找到设置，更多工具，开发者工具。然后点Elements,就可以查看网页代码了。

当我们右键点击网页中的图片，点击检查，就可以查看图片的地址了（上图蓝色部分，画横线的就是图片的地址）

当然聪明的伙伴会想到，其实图片地址之前和之后的字符是一样的。实际上也确实如此，看下图

所以我们只需要设计一定的算法，用来提取网页中的图片地址，就可以批量下载网站图片了。

下面是基本的语法和关键字。

（1）正则表达式符号与方法 — 常用符号

 .  :  匹配任意字符，换行符\n除外    

 * ：匹配前一个字符0次或无限次    

 ? ：匹配前一个字符0次或1次    

 .*：贪心算法  

 .*?：非贪心算法

（）：括号内的数据作为结果返回

findall： 匹配所有符合规律的内容，返回包含结果的列表

Search：匹配并提取第一个符合规律的内容，返回一个正则表达式对象

（object) Sub：替换符合规律的内容，返回替换后的值

import re     from re import * from re import findall,search,sub,S 不需要complie 使用\d+匹配纯数字

三、正则表达式的应用举例

实验网址：https://tieba.baidu.com/f?kw=%E7%81%AB%E5%BD%B1%E5%BF%8D%E8%80%85&ie=utf-8&tab=album

核心代码         new_link = re.sub(‘pageNum=\d+’,’pageNum=%d’%i, old_url)

这是一个用来翻页的代码，和C语言类似，%d代表十进制整数。

正则表达式知识总结 

1. 基本的正则表达式符号

2. 基本的正则表达式方法

3. 能从一段有规律的文本中匹配出感兴趣的内容 你可以使用这些技巧来制作一个爬虫。

爬虫提取数据的核心在于找规律，利用一定的算法提取需要的内容。