一、代理
**1、代理作用**
(1)突破自身IP 访问限制, 访问一些平时不能访问的站点。
(2)访问一些单位或团体内部资源: 比如使用教育网内地址段免费代理服务器, 就可以用于对教育网开放的各类FTP 下载上传, 以及各类资料查询共享等服务。
(3)提高访问速度:通常代理服务器都设置一个较大的硬盘缓冲区, 当有外界的信息通过时, 同时也将其保存到缓冲区中, 当其他用户再访问相同的信息时, 则直接由缓冲区中取屮信息传给用户, 以提高访问速度。
4、隐藏真实IP : 上网者也可以通过这种方法隐藏自己的IP , 免受攻击。对于爬虫来说, 我们用代理就是为了隐藏自身IP , 防止自身的被封锁。
**2、代理的分类**
**(1)根据协议区分**
根据代理的协议, 代理可以分为如下类别。
FTP 代理服务器:主要用于访问FTP 服务器, 一般有上传、下载以及缓存功能, 端口一般为21 、2121 等。
HTTP 代理服务器:主要用于访问网页, 一般有内容过滤和缓存功能, 端口一般为80 、8080 、3128 等。
SSL/TLS 代理:主要用于访问加密网站, 一般有SSL 或TLS加密功能( 最高支持128 位加密强度) , 端口一般为443 。
RTSP 代理:主要用于访问Real 流媒体服务器, 一般有缓存功能, 端口一般为554 。
Telnet 代理:主要用于telnet 远程控制( 黑客人侵计算机时常用于隐藏身份),端口一般为23 。
POP3/SMTP 代理:主要用于POP3/SMTP 方式收发邮件, 一般有缓存功能, 端口一般为110 / 25 。
SOCKS 代理:只是单纯传递数据包, 不关心具体协议和用法, 所以速度快很多, 一般有缓存功能, 端口一般为1080 。SOCKS 代理协议又分为SOCKS4 和SOCKS5 , 前者只支持TCP ,而后者支持TCP 和UDP , 还支持各种身份验证机制、服务器端域名解析等。简单来说,SOCKS4 能做到的SOCKS5 都可以做到, 但SOCKS5 能做到的SOCKS4 不一定能做到。
**(2)根据匿名程度区分**
根据代理的匿名程度, 代理可以分为如下类别。
高度匿名代理: 会将数据包原封不动地转发, 在服务端看来就好像真的是一个普通客户端在访问, 而记录的IP 是代理服务器的IPO
普通匿名代理: 会在数据包上做一些改动, 服务端上有可能发现这是个代理服务器, 也有一定几率追查到客户端的真实伊代理服务器通常会加人的HITP 头有HTTP_VIA 和HTTP_X_FORWARDED FOR 。
透明代理:不但改动了数据包, 还会告诉服务器客户端的真实IPO 这种代理除了能用缓存技术提高浏览速度, 能用内容过滤提高安全性之外, 并无其他显著作用, 最常见的例子是内网中的硬件防火墙。
间谍代理:指组织或个人创建的用于记录用户传输的数据, 然后进行研究、监控等目的的代理服务器。
**3、代理的设置**
proxies = {
'http':'http://114.99.11.179:9999',#http和https都可以用http作为key
}
response = requests.get/post(proxies = proxies)
二、三、正则表达式
(一)元字符
1、匹配边界
| ^ | 行首 |
| $ | 行尾 |
2、表示重复次数
| ? | 0次或1次 |
| * | 大于等于0次 |
| + | 大于等于1次 |
| {n,} | 大于等于n次 |
| {n,m} | 最少n次,最多m次 |
| {n} | n次 |
3、匹配文字
| [ ] | 匹配单字符,[abc]只匹配a或者b或者c, |
| \b | 单词的边界,“\b1_”可以匹配“1_23”中的“1_”,但不能匹配“21_3”中的“1_ |
| \d | 匹配单个数字,\D是非数字 |
| \w | 数字/字母/下划线,\W是非数字/字母/下划线 |
| \s | 空白字符,空格,换行,制表(tab) |
| . | 除换行符以外的任意字符 |
(二)re模块
1、re模块使用步骤
#(1)导包
import re
#(2)将正则表达式编译成一个pattern对象
pattern = re.compile(
r'正则表达式',r代表不转义
'匹配模式',#可以不指定,默认就按正则表达式本来的含义进行匹配。
)
正则匹配模式:
| re.S | 可以匹配换行符 |
| re.I | 忽略大小写 |
#(3)pattern对象的方法(match,search、findall)匹配字符串。
**match对象的属性:**
match.group()等价于match.group(0)----返回匹配结果内容
match.span()--匹配范围
match.start()
match.end()
2、pattern对象的方法
(1)match方法:默认从头开始匹配,只匹配一次,返回一个match对象
Match对象 = pattern.match(
string,#要匹配的目标字符串
start,#要匹配目标字符串的起始位置(可选)
end#结束位置(可选)
)
(2)search全文匹配,只匹配一次,返回一个match对象,匹配不到返回None
(3)findall方法:全文匹配,匹配多次,返回一个列表,findall配合分组,他只会取分组中的内容以此放入元组中,list中存储的就是所有的元组
(4)finditer方法:全文匹配,匹配多次,返回一个迭代器,迭代器里面存储的是match对象
迭代器= pattern.findall(
string,#要匹配的目标字符串
start,#要匹配目标字符串的起始位置(可选)
end#结束位置(可选)
)
什么是迭代器? 有__next__和__iter__。
当一种数据或者内容比较多的时候,可以将其封装迭代器。---通过for循环来使用这个迭代器,可以获取其中的每一个数据。
可迭代对象?有__iter__方法对象。
str
bytes
list
dict
tuple
文件流
(5)split方法:安正则方法表示内容进行分割字符串,返回分割后子串list
Pattern.split(
String,
Maxsplit#指定最大分隔次数,默认全部分隔,可选
)
(6)sub:按照正则表示的内容替换字符串
Pattern.sub(
repl, #替换成什么
String,#替换什么
Count#替换次数,可选,默认全部替换
)--->替换后的字符串
(1)repl字符串
import re
p = re.compile(r'(\w+) (\w+)')
s = 'hello 123,hello 456'
#提前用p去匹配目标串,找到能匹配出来的内容,就是替换找出来的这个内容的。
print(p.sub(r'hello world',s))#使用‘hello world'替换'hello 123'和'hello 456'
print(p.sub(r'\2 \1',s))#引用分组
(2)当repl是一个函数的时候,这个函数是有要求的:
a、必须带一个参数,这个参数其实就是提前用正则去匹配目标串,得到match对象。
b、这个函数必须有返回值,返回值是一个字符串,这个字符串将来就作为替换的内容。
3、分组
分组在正则表达式中就是用()来表示的。一个括号就是一个分组。分组的作用主要有以下两个:
(1)筛选特定内容
(2)引用分组
4、贪婪非贪婪模式
(1)贪婪是用*来控制,python默认是贪婪模式,所以默认所有的数量控制符都是取所能匹配的最大值。
(2)非贪婪是用?来控制的,?放在数量控制符后面,表示数量控制符匹配最小的次数。