一、万能法则
贪婪与非贪婪匹配
如：str="ab123c"
p1="ab.*?c"
p2="ab(.*?)c"
贪婪匹配:正则表达式一般趋向于最大长度匹配，也就是所谓的贪婪匹配。如上面使用模式p1匹配字符串str，结果就是匹配到：ab123c。
非贪婪匹配：就是匹配到结果就好，就少的匹配字符。如上面使用模式p2匹配字符串str，结果就是匹配到：123。
注意：在实践中，正则没必要一口就吞个胖子，可以降阶匹配，少费点脑力，后面结合BeautifulSoup，就更简单啦。
多行匹配
re.S：.将会匹配换行符，默认.不会匹配换行符。(Python Cookbook的方法OUT啦)
>>>re.findall("a(\d+)b.+a(\d+)b", "a23b\na34b")
[]
>>>re.findall("a(\d+)b.+a(\d+)b", "a23b\na34b", re.S)
[('23', '34')]
re.M：^$标志将会匹配每一行，默认^和$只会匹配第一行：
>>>re.findall("^a(\d+)b", "a23b\na34b")
['23']
>>>re.findall("^a(\d+)b", "a23b\na34b", re.M)
['23', '34']
如果没有^标志：
>>>re.findall("a(\d+)b", "a23b\na23b")
['23', '23']
具体的例子稍后会用爬虫实例进行解说。
二、校验数字表达式
1 数字：^[0-9]*$
2 n位的数字：^\d{n}$
3 至少n位的数字：^\d{n,}$
4 m-n位的数字：^\d{m,n}$
5 零和非零开头的数字：^(0|[1-9][0-9]*)$
6 非零开头的最多带两位小数的数字：^([1-9][0-9]*)+(.[0-9]{1,2})?$
7 带1-2位小数的正数或负数：^(\-)?\d+(\.\d{1,2})?$
8 正数、负数、和小数：^(\-|\+)?\d+(\.\d+)?$
9 有两位小数的正实数：^[0-9]+(.[0-9]{2})?$
10 有1~3位小数的正实数：^[0-9]+(.[0-9]{1,3})?$
11 非零的正整数：^[1-9]\d*$ 或 ^([1-9][0-9]*){1,3}$ 或 ^\+?[1-9][0-9]*$
12 非零的负整数：^\-[1-9][]0-9"*$ 或 ^-[1-9]\d*$
13 非负整数：^\d+$ 或 ^[1-9]\d*|0$
14 非正整数：^-[1-9]\d*|0$ 或 ^((-\d+)|(0+))$
15 非负浮点数：^\d+(\.\d+)?$ 或^[1-9]\d*\.\d*|0\.\d*[1-9]\d*|0?\.0+|0$
16 非正浮点数：^((-\d+(\.\d+)?)|(0+(\.0+)?))$ 或^(-([1-9]\d*\.\d*|0\.\d*[1-9]\d*))|0?\.0+|0$
17 正浮点数：^[1-9]\d*\.\d*|0\.\d*[1-9]\d*$ 或^(([0-9]+\.[0-9]*[1-9][0-9]*)|([0-9]*[1-9][0-9]*\.[0-9]+)|([0-9]*[1-9][0-9]*))$
18 负浮点数：^-([1-9]\d*\.\d*|0\.\d*[1-9]\d*)$ 或^(-(([0-9]+\.[0-9]*[1-9][0-9]*)|([0-9]*[1-9][0-9]*\.[0-9]+)|([0-9]*[1-9][0-9]*)))$
19 浮点数：^(-?\d+)(\.\d+)?$ 或^-?([1-9]\d*\.\d*|0\.\d*[1-9]\d*|0?\.0+|0)$
三、校验字符表达式
1 汉字：^[\u4e00-\u9fa5]{0,}$
2 英文和数字：^[A-Za-z0-9]+$ 或 ^[A-Za-z0-9]{4,40}$
3 长度为3-20的所有字符：^.{3,20}$
4 由26个英文字母组成的字符串：^[A-Za-z]+$
5 由26个大写英文字母组成的字符串：^[A-Z]+$
6 由26个小写英文字母组成的字符串：^[a-z]+$
7 由数字和26个英文字母组成的字符串：^[A-Za-z0-9]+$
8 由数字、26个英文字母或者下划线组成的字符串：^\w+$ 或 ^\w{3,20}$
9 中文、英文、数字包括下划线：^[\u4E00-\u9FA5A-Za-z0-9_]+$
10 中文、英文、数字但不包括下划线等符号：^[\u4E00-\u9FA5A-Za-z0-9]+$ 或^[\u4E00-\u9FA5A-Za-z0-9]{2,20}$
11 可以输入含有^%&',;=?$\"等字符：[^%&',;=?$\x22]+
12 禁止输入含有~的字符：[^~\x22]+
四、特殊需求表达式
1 Email地址：^\w+([-+.]\w+)*@\w+([-.]\w+)*\.\w+([-.]\w+)*$
2 域名：[a-zA-Z0-9][-a-zA-Z0-9]{0,62}(/.[a-zA-Z0-9][-a-zA-Z0-9]{0,62})+/.?
3 InternetURL：[a-zA-z]+://[^\s]* 或^http://([\w-]+\.)+[\w-]+(/[\w-./?%&=]*)?$
4 手机号码：^(13[0-9]|14[5|7]|15[0|1|2|3|5|6|7|8|9]|18[0|1|2|3|5|6|7|8|9])\d{8}$
5 电话号码("XXX-XXXXXXX"、"XXXX-XXXXXXXX"、"XXX-XXXXXXX"、"XXX-XXXXXXXX"、"XXXXXXX"和"XXXXXXXX)：^(\(\d{3,4}-)|\d{3.4}-)?\d{7,8}$
6 国内电话号码(0511-4405222、021-87888822)：\d{3}-\d{8}|\d{4}-\d{7}
7 身份证号(15位、18位数字)：^\d{15}|\d{18}$
8 短身份证号码(数字、字母x结尾)：^([0-9]){7,18}(x|X)?$ 或^\d{8,18}|[0-9x]{8,18}|[0-9X]{8,18}?$
9 帐号是否合法(字母开头，允许5-16字节，允许字母数字下划线)：^[a-zA-Z][a-zA-Z0-9_]{4,15}$
10 密码(以字母开头，长度在6~18之间，只能包含字母、数字和下划线)：^[a-zA-Z]\w{5,17}$
11 强密码(必须包含大小写字母和数字的组合，不能使用特殊字符，长度在8-10之间)：^(?=.*\d)(?=.*[a-z])(?=.*[A-Z]).{8,10}$
12 日期格式：^\d{4}-\d{1,2}-\d{1,2}
13 一年的12个月(01～09和1～12)：^(0?[1-9]|1[0-2])$
14 一个月的31天(01～09和1～31)：^((0?[1-9])|((1|2)[0-9])|30|31)$
15 钱的输入格式：
15-1.有四种钱的表示形式我们可以接受:"10000.00" 和"10,000.00", 和没有 "分" 的 "10000" 和 "10,000"：^[1-9][0-9]*$
15-2.这表示任意一个不以0开头的数字,但是,这也意味着一个字符"0"不通过,所以我们采用下面的形式：^(0|[1-9][0-9]*)$
15-3.一个0或者一个不以0开头的数字.我们还可以允许开头有一个负号：^(0|-?[1-9][0-9]*)$
15-4.这表示一个0或者一个可能为负的开头不为0的数字.让用户以0开头好了.把负号的也去掉,因为钱总不能是负的吧.下面我们要加的是说明可能的小数部分：^[0-9]+(.[0-9]+)?$
15-5.必须说明的是,小数点后面至少应该有1位数,所以"10."是不通过的,但是 "10" 和 "10.2" 是通过的：^[0-9]+(.[0-9]{2})?$
15- 6.这样我们规定小数点后面必须有两位,如果你认为太苛刻了,可以这样：^[0-9]+(.[0-9]{1,2})?$
15-7.这样就允许用户只写一位小数.下面我们该考虑数字中的逗号了,我们可以这样：^[0-9]{1,3}(,[0-9]{3})*(.[0-9]{1,2})?$
15-8.1到3个数字,后面跟着任意个 逗号+3个数字,逗号成为可选,而不是必须：^([0-9]+|[0-9]{1,3}(,[0-9]{3})*)(.[0-9]{1,2})?$
*备注：这就是最终结果了,别忘了"+"可以用"*"替代如果你觉得空字符串也可以接受的话(奇怪,为什么?)最后,别忘了在用函数时去掉去掉那个反斜杠,一般的错误都在这里
16 xml文件：^([a-zA-Z]+-?)+[a-zA-Z0-9]+\\.[x|X][m|M][l|L]$
17 中文字符的正则表达式：[\u4e00-\u9fa5]
18 双字节字符：[^\x00-\xff] (包括汉字在内，可以用来计算字符串的长度(一个双字节字符长度计2，ASCII字符计1))
19 空白行的正则表达式：\n\s*\r (可以用来删除空白行)
20 HTML标记的正则表达式：]*>.*?\1>|<.> (网上流传的版本太糟糕，上面这个也仅仅能部分，对于复杂的嵌套标记依旧无能为力)
21 首尾空白字符的正则表达式：^\s*|\s*$或(^\s*)|(\s*$) (可以用来删除行首行尾的空白字符(包括空格、制表符、换页符等等)，非常有用的表达式)
22 腾讯QQ号：[1-9][0-9]{4,} (腾讯QQ号从10000开始)
23 中国邮政编码：[1-9]\d{5}(?!\d) (中国邮政编码为6位数字)
24 IP地址：\d+\.\d+\.\d+\.\d+ (提取IP地址时有用)
25 IP地址：((?:(?:25[0-5]|2[0-4]\\d|[01]?\\d?\\d)\\.){3}(?:25[0-5]|2[0-4]\\d|[01]?\\d?\\d))
实例：用python爬取网站数据
1.运行环境和python库
先说下运行环境：
python3.5
windows7， 64位系统
python库
本次智联招聘的网站爬取，主要涉及以下一些python库：
requests
BeautifulSoup
multiprocessing
pymongo
itertools
2.爬取的主要步骤
根据关键字、城市、以及页面编号生成需要爬取的网页链接
用requests获取相应的网页内容
用BeautifulSoup解析，获取需要的关键信息
将爬取的信息存入MongoDB数据库中，插入新记录或更新已有记录
用multiprocessing启动多进程进行爬取，提高运行效率
3.文件组成
信息配置文件“zhilian_kw_config.py”
爬虫主运行文件“zhilian_kw_spider.py”
在配置文件中设置需要爬取的信息，然后运行主程序进行内容抓取。
配置文件“zhilian_kw_config.py”的内容如下：
#Code based on Python 3.x
#_*_ coding: utf-8 _*_
#__Author: "LEMON"
TOTAL_PAGE_NUMBER= 90 # PAGE_NUMBER: total number ofpages，可进行修改
KEYWORDS= ['大数据', 'python', '投资经理'] # 需爬取的关键字可以自己添加或修改
#爬取主要城市的记录
ADDRESS= ['全国', '北京', '上海', '广州', '深圳',
'天津', '武汉', '西安', '成都', '大连',
'长春', '沈阳', '南京', '济南', '青岛',
'杭州', '苏州', '无锡', '宁波', '重庆',
'郑州', '长沙', '福州', '厦门', '哈尔滨',
'石家庄', '合肥', '惠州', '太原', '昆明',
'烟台', '佛山', '南昌', '贵阳', '南宁']
MONGO_URI= 'localhost'
MONGO_DB= 'zhilian'
爬虫主运行文件“zhilian_kw_spider.py”的内容如下：
#Code based on Python 3.x
#_*_ coding: utf-8 _*_
#__Author: "LEMON"
fromdatetime import datetime
fromurllib.parse import urlencode
frommultiprocessing import Pool
importrequests
frombs4 import BeautifulSoup
importpymongo
fromzhilian.zhilian_kw_config import *
importtime
fromitertools import product
client= pymongo.MongoClient(MONGO_URI)
db= client[MONGO_DB]
defdownload(url):
headers = {'User-Agent': 'Mozilla/5.0(Windows NT 6.1; WOW64; rv:51.0) Gecko/20100101 Firefox/51.0'}
response = requests.get(url,headers=headers)
return response.text
defget_content(html):
# 记录保存日期
date = datetime.now().date()
date = datetime.strftime(date,'%Y-%m-%d') # 转变成str
soup = BeautifulSoup(html, 'lxml')
body = soup.body
data_main = body.find('div', {'class':'newlist_list_content'})
if data_main:
tables = data_main.find_all('table')
for i, table_info in enumerate(tables):
if i == 0:
continue
tds =table_info.find('tr').find_all('td')
zwmc =tds[0].find('a').get_text() # 职位名称
zw_link =tds[0].find('a').get('href') # 职位链接
fkl =tds[1].find('span').get_text() # 反馈率
gsmc = tds[2].find('a').get_text() # 公司名称
zwyx = tds[3].get_text() # 职位月薪
gzdd = tds[4].get_text() # 工作地点
gbsj =tds[5].find('span').get_text() # 发布日期
tr_brief = table_info.find('tr',{'class': 'newlist_tr_detail'})
# 招聘简介
brief = tr_brief.find('li',{'class': 'newlist_deatil_last'}).get_text()
# 用生成器获取信息
yield {'zwmc': zwmc, # 职位名称
'fkl': fkl, # 反馈率
'gsmc': gsmc, # 公司名称
'zwyx': zwyx, # 职位月薪
'gzdd': gzdd, # 工作地点
'gbsj': gbsj, # 公布时间
'brief': brief, # 招聘简介
'zw_link': zw_link, # 网页链接
'save_date': date # 记录信息保存的日期
}
defmain(args):
basic_url = '招聘(求职)尽在智联招聘?'
for keyword in KEYWORDS:
mongo_table = db[keyword]
paras = {'jl': args[0],
'kw': keyword,
'p': args[1] # 第X页
}
url = basic_url + urlencode(paras)
# print(url)
html = download(url)
# print(html)
if html:
data = get_content(html)
for item in data:
ifmongo_table.update({'zw_link': item['zw_link']}, {'$set': item}, True):
print('已保存记录：',item)
if__name__ == '__main__':
start = time.time()
number_list =list(range(TOTAL_PAGE_NUMBER))
args = product(ADDRESS, number_list)
pool = Pool()
pool.map(main, args) # 多进程运行
end = time.time()
print('Finished, task runs %s seconds.' %(end - start))
扫码关注公众号，每天可以领红包
4980
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
