爬虫基础（正则表达式）

什么是爬虫

        首先了解一下什么是爬虫？

        如果我们把互联网比作一张大的蜘蛛网，那一台计算机上的数据便是蜘蛛网上的一个猎物，而爬虫程序就是一只小蜘蛛，沿着蜘蛛网抓取自己想要的猎物（数据）。这就是通俗易懂的解释了爬虫的概念。

        而书面化的定义是这样的：

        网络爬虫也叫网络蜘蛛，它特指一类自动批量下载网络资源的程序，这是一个比较口语化的定义。

        更加专业和全面的定义是：网络爬虫是伪装成客户端与服务端进行数据交互的程序。

        爬虫应用广泛，技术也多种多样，学习爬虫，首先还得从正则表达式讲起，这也是爬虫基础中的基础。

什么是正则表达式

        简单来说，正则表达式就是描述字符串的一套规则。比如，我们想找出一个网页中的所有URL链接，其他的信息需要过滤掉。那么此时，我们可以观察链接的格式，然后写一个正则表达式来表示所有的电子邮件。随后，我们可以利用该表达式从网页中提取出所有满足该规则的URL链接。正则表达式的功能非常强大，在爬虫的实际项目中，对于处理特定格式的信息，经常需要用到正则表达式。

        我们抓取到的网页源代码本质上就一个超长的字符串，想从里面提取内容，用正则再合适不过了。

        正则的优点：速度快，效率高，准确性高

        正则的缺点：新手上手难度有点高

不过只要掌握了正则编写的逻辑关系，写出一个提取页面内容的正则其实并不复杂

正则的语法：使用元字符进行排列组合用来匹配字符串，在线测试正则表达式在线正则表达式测试

元字符：具有固定含义的特殊符号

常用的元字符：

   .   匹配除换行符以外的任意字符
   \w   匹配字母或数字或下划线
   \s   匹配任意的空白符
   \d   匹配数字
   \n   匹配一个换行符
   \t   匹配一个制表符
   ^   匹配字符串的开始
   $   匹配字符串的结尾
   \W   匹配非字母或数字或下划线
   \D   匹配非数字
   \S   匹配非空白符
   a|b   匹配字符a或字符b
   ()   匹配括号内的表达式，也表示一个组
   [...]   匹配字符组中的字符
   [^...]   匹配除了字符组中字符的所有字符

量词：控制前面的元字符出现的次数

   *   重复零次或更多次
   +   重复一次或更多次
   ?   重复零次或一次
   {n}   重复n次
   {n,}   重复n次或更多次
   {n,m}   重复n到m次

贪婪匹配和惰性匹配

   .*   贪婪匹配
   .*?   惰性匹配

这两个要着重的说一下，因为我们写爬虫用的最多的就是这个惰性匹配

re模块

那么接下来的问题是，正则我会写了，怎么在python程序中使用正则呢？答案就是re模块

re模块中我们只需要记住这么几个功能就足够我们使用了。

• 1、findall()查找所有，返回list

list=re.findall('m','mai le fo len,mai ni mei!',)
print(list)  #['m','m','m']
list=re.findall(r"\d+","5点之前，你要给我5000万")
print(list)  #['5','5000']

• 2、search()会进行匹配，但是如果匹配到了第一个结果，就会返回这个结果。如果匹配不上，search返回的则是None

ret=re.search(r'\d','5点之前，你要给我5000万').group()
print(ret)    # 5

• 3、match()只能从字符串的开头进行匹配

ret=re.match('a','abc').group()
print(ret)    # a

• 4、finditer()和findall()差不多，只不过finditer()返回的是迭代器（重点）

it=re.finditer('m','mai le fo len,mai ni mei!')
for el in it:
  print(el.group())  # 依然需要分组

• 5、compile()可以将一个长长的正则正行预加载，方便后面的使用。

obj=re.compile(r'\d{3}')       # 将正则表达式编译成为一个正则表达式对象，规则要匹配的是3个数字
ret=obj.search('abc123eeee')   # 正则表达式对象调用search，参数为待匹配的字符串
print(ret.group())             # 结果：123

• 6、正则中的内容如何单独提取？单独获取到正则中的具体内容可以给分组起名字

s='''
  <div class='西游记'><span id='10010'>中国联通</span></div>
'''
obj=re.compile(r"<span id='(?P<id>\d+)'>(?P<name>\w+)</span>",re.S)
result=obj.search(s)
print(result.group())       # 结果：<span id='10010'>中国联通</span>
print(result.group("id"))   # 结果：10010    # 获取id组的内容
print(result.group("name")) # 结果：中国联通  # 获取name组的内容

这里可以看到我们可以通过使用分组，来对正则匹配到的内容进一步的进行筛选。