python进阶第二篇-re模块-爬轻小说文库

本文链接：https://blog.csdn.net/FODKING/article/details/126084956

活动地址：CSDN21天学习挑战赛

学习的最大理由是想摆脱平庸，早一天就多一份人生的精彩；迟一天就多一天平庸的困扰。各位小伙伴，如果您：
想系统/深入学习某技术知识点…
一个人摸索学习很难坚持，想组团高效学习…
想写博客但无从下手，急需写作干货注入能量…
热爱写作，愿意让自己成为更好的人…
…
欢迎参与CSDN学习挑战赛，成为更好的自己，请参考活动中各位优质专栏博主的免费高质量专栏资源（这部分优质资源是活动限时免费开放喔~），按照自身的学习领域和学习进度学习并记录自己的学习过程。您可以从以下3个方面任选其一着手（不强制），或者按照自己的理解发布专栏学习作品，参考如下：

学习日记

**
1，学习知识点

已经详细的正则和re模块的使用
备受打击感觉自己好菜，请叫我菜狗！

2，学习遇到的问题

逻辑问题

3，学习的收获及实操

首先是re模块的使用，

#导入re
import re
ll = re.match(正则表达式，要匹配的字符串)
#使用match方法进行匹配操作
ll.group()#group提取数据
ll =re.match('ls','ls123.11')
ll.group()
会得到‘ls’

re.match（pattern，string，flags=0）

re.match尝试从在字符串的起始位置匹配一个模式，如果不是起始位置匹配成功的话，match()就返回none。
pattern：正则表达式 string：爬的内容。 flags：标志位，用于控制正则表达式的匹配方式，如是否区分大小写，多行匹配等等。

匹配单个字符

字符	功能
.	匹配任意1个（是一个）字符（除了\n）
[]	匹配[]中列举的字符
\d	匹配数字
\D	匹配非数字
\s	匹配空白，空格，tab键
\S	匹配非空白
\w	匹配单词字符，即a-z、A-Z、0-9、_
\W	匹配非单词字符

import re
k=re.match('j.l','jkljkl')
s=re.match('1.2.4','12214234')
print(k.group())
print(s.group())
>>>jkl
>>>12214

字符串检查从左向右检索，一旦一个字符匹配对就会向下一个字符匹配，下一个字符不对就会不进行错误

import re
lk = re.match('[0-9]hel','5hel')
>>>hel
lp = re.match('[0-46-9]','5hel')
>>>输出lp会报错,原因没匹配到5

import re
kk = re.match('第\d好','第1好')
会输出第1好
kk = re.match('第\d\d好','第12好')
第12好

匹配多个字符

字符	功能
*	匹配前一个字符出现0次或者无限次，即可有可无
+	匹配前一个字符出现1次或者无限次，至少一次
?	匹配要么有1次，要么没有
{m}	匹配前一个字符出现m次
{m,n}	匹配前一个字符出现从m到n次
*用法
要：匹配开头大写其他小写的字符，小写没有也可以

import re
ls = re.match('[A-Z][a-z]*','E')
print(ret.group())
>>>E
ls = re.match('[A-Z][a-z]*','EsssE')
print(ret.group())
>>>Esss
ls = re.match('[A-Z][a-z]*','Eolololololololol')
print(ret.group())
>>>Eolololololololol

要，变量名有效

import re
names = ["name1","_name","2_name"]
for name in names:
    ret = re.match("[a-zA-Z_]+[\w]*",name)
    if ret:
        print("变量名%s符合"%ret.group())
    else:
        print("变量名%s非法"%name)

》》》变量名 name1符合
     变量名 _name符合
     变量名 2_name非法

字符	功能
^	匹配字符串开头
$	匹配字符串结尾
用法：^**

**$

匹配分组

字符	功能
（**）	将括号中的字符最为一个分组
**	应用**分组匹配的字符
(?p)	分组起别名
(?=name)	引用别名为name分组匹配到的字符串

高级用法
re.search(pattern,string,flags)
re.match只匹配字符串开头，如果开始不对就会匹配失败，而re.search是匹配整个字符串，直到找到匹配

re.findall
re.findall（pattern，string，flags=0）
找到表达式匹配的所有字符串，并返回一个列表，如果有多个匹配模式，则返回元组列表，如果没有找到匹配，则返回空列表。
**match和search是匹配一次findall匹配所有

re.sub
匹配到的数据进行替换
re.sub（正则中模式字符，替换的字符串，原始字符，count=）
r‘删除的内容’

re.split
根据匹配进行切割字符串，并返回一个列表
re.split（正则，字符[,maxsplit(切割次数)=0，flags]）

import requests
import re
i=82491

def get_dict(number):
    url = 'https://www.wenku8.net/novel/2/2255/{}.htm'.format(number)
    hea = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Safari/537.36'}

    html = requests.get(url, headers=hea)
    # html.encoding='utf-8'#utf-8依然乱码
    MyHtml = html.text.encode('iso-8859-1').decode('gbk')  # 解析成功 （对爬去的内容进行转义解析）
    ti = r'<title>(.*?)</title>'  # 标题  (匹配title属性中的字符# )
    title = re.findall(ti, MyHtml, re.S)
    tet = r'&nbsp;&nbsp;&nbsp;&nbsp;(.*?)<.*?'  # 正文   （匹配前为**bnsp后为<的字符）
    test = re.findall(tet, MyHtml, re.S)#（采用findall模式，爬去全部内容，防止遗失）
    out_path = r'C:\Users\lenovo\Desktop\test\{}.txt'.format(title)#存储位置 并重命名为章节（妈妈再也不用忘了我看到哪里了）
    with open(out_path, "a+", encoding='utf-8-sig') as f:  # 打开文件
        f.write(str(title) + "\n")  # 写入小说内容
        f.write(str(test)+'\n')
    yz ='{}爬取成功'.format(title)
    print(yz)

while i<82508:
    get_dict(i)
    i = i + 1
#测试成功逻辑上还是有点问题
#各卷之间间隔几千的随机数，这个不知道怎么解决？ 哭了