Python 爬虫技术5天速成（2020全新合集）python入门+可视化爬虫代码

B站李巍老师python课程爬豆瓣电影top250代码分享，有错误的可以参考一下。

正则表达式的常用规则0

操作符	说明	实例
.	表示任何单个字符
[ ]	字符集，对单个字符给出取值范围	[abc]表示a,b,c[a-z]表示a-z单个字符
[^]	非字符集，对单个字符给出排除范围	[^abc]表示非a或b或c的单个字符
*	前一个字符0次或无限次扩展	abc*表示ab,abc,abcc,abccc等
+	前一个字符1次或无限次扩展	abc+表示abc,abcc,abccc等
?	前一个字符0次或1次扩展	abc?表示ab,abc
|	左右表达式任意一个	abc|def 表示abc,def

正则表达式的常用规则1

操作符	说明	实例
{m}	扩展前一个字符m次	ab{2}c表达式abbc
{m,n}	扩展前一个字符m次至n次(含n)	ab{1,2}c表示abc、abbc
^	匹配字符串开头	^abc表示abc且在一个字符串的开头
$	匹配字符串结尾	abc$表示abc且在一个字符串的结尾
( )	分组标记，内部只能使用|操作符	(abc)表示abc，(abc|def)表示abc,def
\d	数字，等价于[0-9]
\w	单词字符，等价于[ A-Za-z0-9_ ]

Re库主要功能函数

函数	说明
re.search()	在一个字符串中搜索匹配正则表达式的第一个位置，返回match对象
re.match()	在一个字符串的开始位置起匹配正则表达式，返回match对象
re.findall( )	搜索字符串，以列表类型返回全部能匹配的子串
re.split( )	将一个字符串按照正则表达式匹配结果进行分割，返回列表类型
re.finditer()	搜索字符串，返回一个匹配结果的迭代类型，每个迭代元素是match对象
re.sub( )	在一个字符串中替换所有匹配正则表达式的子串，返回替换后的字符串

正则表达式可以包含一些可选标志修饰符来控制匹配的模式。修饰符被指定为一个可选的标志。多个标志可以通讨按位 OR(I)它们来指定。如re.l|re.M被设置成l和M标志:

修饰符	描述
re.l	使匹配对大小写不敏感
re.L	做本地化识别(locale-aware)匹配
re.M	多行匹配，影响^和$
re.S	使.匹配包括行在内的所有字符
re.U	根据Unicode字符集解析字符，这个标志影响\w,\W,\b,\B.
re.X	该标志通过给予你更灵活的格式以便你将正则表达式写的更容易理解

豆瓣top250爬虫代码

#-*- coding = utf-8 -*-
#@Time: 2020/11/17 11:02
#@Author:陈斌斌
#@File: spider1.py
#@Software:PyCharm
# -*- codeing = utf-8 -*-
from bs4 import BeautifulSoup  # 网页解析，获取数据
import re  # 正则表达式，进行文字匹配`
import urllib.request, urllib.error  # 制定URL，获取网页数据
import xlwt  # 进行excel操作
#import sqlite3  # 进行SQLite数据库操作

findLink = re.compile(r'<a href="(.*?)">')  # 创建正则表达式对象，标售规则   影片详情链接的规则
findImgSrc = re.compile(r'<img.*src="(.*?)"', re.S)
findTitle = re.compile(r'<span class="title">(.*)</span>')
findRating = re.compile(r'<span class="rating_num" property="v:average">(.*)</span>')
findJudge = re.compile(r'<span>(\d*)人评价</span>'