第三章 基本库的使用
-
urllib库，有了它，我们只需要关心请求的链接是什么，需要传的参数是什么，以及如何设置可选的请求头就好了，不用深入到底层去了解它到底是怎样传输和通信的。有了它，两行代码就可以完成一个请求和响应的处理过程，得到网页内容。
urllib是Python内置的HTTP请求库。包含4个模块。
-
request
-
urlopen()。利用它模仿浏览器的一个请求发起过程，还带有处理授权验证、重定向、浏览器cookies以及其他内容。
-
如果想给链接传递一些参数，该怎么实现呢？看一下urlopen()函数的API
除了第一个参数可以传递URL之外，还可以传递其他内容，比如data（附加数据），timeout（超时时间）等。
-
知识点太细了，等用得到再回来看。
-
-
request
-
我们知道利用urlopen()方法 可以实现最基本请求的发起，但这几个简单的参数并不足以构建一个完整的请求。如果请求中需要加入Headers等信息，就可以利用更强大的Request类来构建。
我们依然是用ur lopen()方法来发送这个请求，只不过这次该方法的参数不再是URL,而是一个Request类型的对象。通过构造这个数据结构，一方面我们可以将请求独立成一个对象，另一方面可更加丰富和灵活地配置参数。
下面的示例展示了Request怎样通过参数来构造：
这里我們通过4个参数构造了一个请求，其中url即请求URL, headers 中指定了User-Agent 和Host,参数data用urlencode()和bytes()方法转成字节流。另外，指定了请求方式カPOST。
-
-
高级用法
在上面的过程中，我们虽然可以构造请求，但是对于一些更高级的操作(比如Cookies 处理、代理设置等),我们该怎么办呢?
就需要更强大的工具Handler登场了。简而言之，我们可以把它理解为各种处理器，有专门处理登录验证的，有处理Cookies的，有处理代理设置的。利用它们，我们几乎可以做到HTTP请求中所有的事情。
首先，介绍一下urllib.request模块里的BaseHandler类，它是所有其他Handler的父类，它提供了最基本的方法，例如default_ open()、 protocol_ request()等 。
接下来，就有各种Handler子类继承这个BaseHandler类，举例如下。- HTTPDefaultErrorHandler:用于处理HTTP响应错误，错误都会抛出HTTPError类型的异常。
- HTTPRedirectHandler:用于处理重定向。
- HTTPCookieProcessor:用于处理Cookies。
- ProxyHandler:用于设置代理，默认代理为空。
- HTTPPasSWordMgr:用于管理密码，它维护了用户名和密码的表。
- HTTPBasicAuthHandler:用于管理认证，如果一个链接打开时需要认证，那么可以用它来解决认证问题。
验证
有些网站在打开时会弹出提示框，直接提示输入用户名和密码，验证成功后才能查看页面。
借助HTTPBasicAuthHandler就可以完成。
首先实例化HTTPBasicAuthHandler对象，其参数是HTTPPasswordMgrWithDefaultRealm对象，它利用add_password()添加进去用户名和密码，这样就建立了一个处理验证的Handler。
接下来，利用这个Handler并使用build_ opener()方法构建 一个Opener,这个Opener在发送请求时就相当于已经验证成功了。
接下来，利用Opener的open()方法打开链接，就可以完成验证了。这里获取到的结果就是验证后的页面源码内容。代理
这里我们在本地搭建了一个代理，它运行在9743端口上。
这里使用了ProxyHandler, 其参数是一一个字典，键名是协议类型(比如HTTP或者HTTPS等),键值是代理链接，可以添加多个代理。
然后，利用这个Handler 及build_ opener()方法构造一个 Opener,之后发送请求即可。-
利用代码将网站的cookies获取下来
-
-
error
-
URLError
打开一个不存在的页面，照理来说应该会报错，但是我们捕获了URLError这个异常，程序没有直接报错，而是输出了Not Found，这样通过如上操作，我们就可以避免程序异常终止，同时异常得到了有效处理。
-
HTTPError
是URLError的子类，专门用来处理HTTP请求错误。包含code、reason、Headers三个属性。
先捕获子类的错误，再捕获父类的错误。
-
-
parse
-
urlparse()
该方法可以实现URL的识别和分段。
可以看到，返回结果是一个ParseResult类型的对象，它包含6个部分，分别是scheme、netloc、path、params、query和fragment。
可以发现，urlparse()方法将其拆分成了6个部分。大体观察可以发现，解析时有特定的分隔符。比如，?/前面的就是scheme,代表协议;第一个/符号前面便是netloc,即域名，后面是path,即访问路径;分号;前面是params,代表参数;问号?后面是查询条件query,一般用作GET类型的URL;井号#后面是锚点，用于直接定位页面内部的下拉位置。
所以，可以得出一个标准的链接格式，具体如下:
scheme://netloc/path; params ?query#fragment
一个标准的URL都会符合这个规则，利用urlparse()方法可以将它拆分开来。-
urlparse()方法的API用法
-
-
urlunparse()
与urlparse()相对立。实现的是URL的构造。它接受的参数是一个可迭代对象，但是长度必须是6，否则会抛出参数数量不足或者过多的问题。
-
urlsplit()
和urlparse()方法相似。只不过它不再单独解析params这一部分，只返回5个结果，params会合并到path中。
返回结果是SplitResult，它也是一个元组类型，既可以用属性获取值，也可以用索引来获取。
-
urlunsplit()
与urlunparse()类似，将链接各个部分组合成完整链接。传入的参数也是一个可迭代对象，例如列表、元组等，长度必须为5
-
urljoin()
urljoin()能轻松的实现链接的解析、拼合与生成，而不是前提的链接必须有特定长度且每一部分都要清晰分开。
但是urljoin()它会分析链接，提取需要的部分合成新连接。
-
urlencode()
为了更方便的构造参数，先用字典来表示，要转化为URL的参数时，只需要调用该方法即可。
-
parse_qs()
如果我们有一串GET请求参数，利用parse_qs()方法，就可以将它转回字典。
-
parse_qsl()
它用于将参数转化为元组组成的列表。
-
quote()
该方法可以将内容转化为URL编码的格式
-
unquote()
进行URL解码
-
-
robotparser
-
Robots协议
Robots协议也称作爬虫协议、机器人协议，用来告诉爬虫和搜索引擎哪些页面可以抓取，哪些不可以抓取。它通常是一个加做robots.txt的文本文件，放在网站的根目录下。
当搜索爬虫访问一个站点时，会先检查是否存在robots.txt，如果存在，会根据其中定义的爬取范围来爬取。
这实现了对所有搜索爬虫只允许爬取public目录。与index.php、index.html、index.jsp放在一起。
-
爬虫名称
-
robotparser
使用robotparser模块来解析robots.txt。该模块提供了一个类RobotFileParser，它可以根据某网站的robots.txt文件来判断一个爬取爬虫是否有权限来爬取这个网页。只需要在构造方法里传入robots.txt的链接即可。
-
-
urllib库正式告一段落，接下来学习requests库，233333
- 在处理网页验证和Cookies时，需要写Opener和Handler来处理，不太方便，为了更加方便地实现这些操作，就有了更为强大的库requests,有了它，Cookies 、登录验证、代理设置等操作都不是事儿。
requests
-
GET请求
- 基本实例
如果想直接解析返回结果，得到一个字典格式的话，可以直接调用json()方法，就可以将返回结果是JSON格式的字符串转化为字典。
-
抓取网页
需要加入headers信息，其中包含了User-Agent字段信息，也就是浏览器标示信息，如果不加这个，知乎会禁止抓取。
-
抓取二进制数据
以GitHub的站点图标为例
前两行是r.text，最后一行是r.content，结果会乱码。
但是可以将提取出来的图片保存下来
运行结束，会在文件夹中出现名为favicon.ico的图标。
-
添加headers
如果不传递headers，就不能正常请求
但如果加上headers并加上User-Agent信息，就没问题了。
-
POST请求
其中form部分就是提交的数据，这就证明POST请求成功发送了。
-
响应
输出status_ code 属性得到状态码，输出headers 属性得到响应头，输出cookies属性得到Cookies,输出url属性得到URL,输出history属性得到请求历史。
-
高级用法
基本用法：GET、POST请求以及Response对象。
高级用法：文件上传、Cookies设置、代理设置等。
-
文件上传
须注意：favicon.ico需要和当前脚本在同一目录下。
-
Cookies
也可以复制Chrome里的cookies到Headers里，来维持登陆状态。
会发现结果中包含了登陆后的结果，证明登陆成功。
也可以设置cookies参数，不过相对繁琐。
-
会话维持
利用Session,可以做到模拟同一个会话而不用担心Cookies的问题。它通常用于模拟登录成功之后再进行下一步的操作。Session在平常用得非常广泛，可以用于模拟在一个浏览器中打开同一站点的不同页面。
在requests中，如果直接利用get()或post()等方法的确可以做到模拟网页的请求，但是这实际上是相当于不同的会话，也就是说相当于你用了两个浏览器打开了不同的页面。
设想这样一个场景，第一个请求利用post()方法登录了某个网站，第二次想获取成功登录后的自己的个人信息，你又用了一次get()方法去请求个人信息页面。实际上,这相当于打开了两个浏览器，是两个完全不相关的会话，能成功获取个人信息吗?那当然不能。
有小伙伴可能说了,我在两次请求时设置一样的cookies不就行了?可以，但这样做起来显得很烦琐，我们有更简单的解决方法。
其实解决这个问题的主要方法就是维持同一个会话，也就是相当于打开一个新的浏览器选项卡而不是新开一一个浏览器。但是我又不想每次设置cookies,那该怎么办呢?这时候就有了新的利器-Session 对象。利用它，我们可以方便地维护一一个会话，而且不用担心cookies的问题，它会帮我们自动处理好。
-
SSL证书验证
12306的证书会出现验证错误，因为默认verify是True，会自动验证，把它设置为false即可。
-
代理设置
对于某些网站，在测试的时候请求几次，能正常获取内容。但是一-旦开始大规模爬取，对于大规模且频繁的请求，网站可能会弹出验证码，或者跳转到登录认证页面，更甚者可能会直接封禁客户端的IP,导致-定时间段内无法访问。那么，为了防止这种情况发生，我们需要设置代理来解决这个问题，这就需要用到proxies参数。
-
超时设置
在本机网络状况不好或者服务器网络响应太慢甚至无响应时,我们可能会等待特别久的时间才可能收到响应，甚至到最后收不到响应而报错。为了防止服务器不能及时响应,应该设置一个超时时间，即超过了这个时间还没有得到响应，那就报错。这需要用到timeout参数。这个时间的计算是发出请求到服务器返回响应的时间。
-
身份认证
requests自带的身份认证功能。
当然还有其他的认证方式，此处略。
-
Prepared Request
-
-
requests的官方文档：http://docs.python-requests.org/
- 终于要开始学习正则表达式了，23333
正则表达式：也就是用一定的规则将特定的文本提取出来。
-
eg：匹配一个正则表达式 [a-zA-z]+://[^\s]*
-
正则表达式常用的匹配规则
Python的re库提供了整个正则表达式的实现。在Python中写正则表达式几乎都用这个库。
-
match
第一个参数传入要匹配的正则表达式，第二个参数传入要匹配的字符串。
match()方法会从字符串的起始位置匹配正则表达式，如果成功则返回结果；否则返回None。
-
示例中正则表达式解析
^Hello\s\d\d\d\s\d{4}\s\W{10}
用它来匹配这个长字符串。开头的^是匹配字符串的开头，也就是以Hello开头;然后\s匹配空白字符，用来匹配目标字符串的空格; \d 匹配数字，3个\d匹配123;然后再写1个\s匹配空格;后面还有4567,我们其实可以依然用4个\d来匹配，但是这么写比较烦琐，所以后面可以跟{4}以代表匹配前面的规则4次，也就是匹配4个数字;然后后面再紧接1个空白字符，最后\W{10}匹配10个字
母及下划线。我们注意到，这里其实并没有把目标字符串匹配完，不过这样依然可以进行匹配，只不过匹配结果短一点而已。 -
SRE_Match对象，证明匹配成功。
该对象有两个方法：gropu()方法可以输出匹配到的内容，结果是Hello 123 4567 World_This
span()方法可以输出匹配的范围，结果是（0，25），是结果字符串在原字符串中的位置范围。
-
-
正则表达式——匹配目标
如果想从字符串中提取一部分内容，可以使用()括号将想提取的子字符串括起来。()实际上标记了一个子表达式的开始和结束位置，被标记的每个子表达式会依次对应每一个分组， 调用group()方法传入分组的索引即可获取提取的结果。
-
正则表达式——通用匹配
.*（点星）（点）可以匹配任意字符（除换行符）。（星）代表匹配前面的字符无限次，所以它们组合在一起就可以匹配任意字符了，最后加一个结尾字符串就好了。
-
正则表达式——贪婪与非贪婪
-
贪婪：.*
-
非贪婪：.*?
在做匹配的时候，字符串中间尽量使用非贪婪匹配，即.*?，以免出现匹配结果缺失的请况。
如果匹配的结果在字符串结果，.*?就有可能匹配不到任何内容了，因为它会匹配尽可能少的字符。（P156）
-
-
正则表达式——修饰符
当要匹配的字符串有换行符的时候，就匹配不到结果了，只需要在末尾加一个re.S，即可修正这个错误。
这个re.S在网页匹配中经常用到。因为HTML节点经常会有换行，加上它，就可以匹配节点与节点之间的换行了。
-
正则表达式——转义字符
如果要匹配的字符串里本身就有.，就需要使用转义匹配了，在前面加反斜线转义一下即可。
-
正则表达式——search()
match()方法是从字符串的开头开始匹配的，一旦开头不匹配，那么整个匹配就失败了。所以这时就可以使用另外一个方法search()方法，它在匹配时会扫描整个字符串，然后返回第一个成功匹配的结果。
因此，为了匹配方便，我们可以尽量使用search()方法。
- 正则表达式Demo
要提取class="active"里的singer和歌名
-
正则表达式——findall()
如果只是获取第一个内容，可以用search()方法，当需要提取多个内容时，可以用findall()方法，返回的列表中的每个元素多事元组类型。
-
正则表达式——sub()
除了使用正则表达式提取信息外，还需要借助它来修改文本。
第一个参数是正则表达式，第二个参数是要替换的字符串，第三个参数是原字符串。
-
正则表达式——compile()
这个方法可以将正则字符串编译成正则表达式对象，以便在后面的匹配中复用。
想将3个日期中的时间去掉，可以借助sub()方法，此时可以借助compile()方法将正则表达式编译成一个正则表达式对象，以便复用。
3.4 抓取猫眼电影排行
-
思路：网址为https://maoyan.com/board/4，点开第二页为https://maoyan.com/board/4?offset=10，由此可以总结出规律,offset代表偏移量值,如果偏移量为n,则显示的电影序号就是n+1到n+10,每页显示10个。所以，如果想获取TOP100电影，只需要分开请求10次，而10次的offset参数分别设置为0、10、20…90即可，这样获取不同的页面之后，再用正则表达式提取出相关信息，就可以得到TOP100的所有电影信息了。
-
一个正则表达式可以匹配一个电影的结果，里面匹配了7个信息。用findall()方法提取出所有的内容。
-
① 本节目标。 ② 安装依赖库。 ③ 抓取分析。 ④ 抓取首页。 ⑤ 正则提取。 ⑥ 写入文件。 ⑦ 整合代码。 ⑧ 分页爬取。 ⑨ 运行结果。
''' 抓取猫眼电影排行 ''' import requests import json from requests.exceptions import RequestException import re import time # 抓取首页 def get_one_page(url): try: headers = { 'User-Agent': 'Mozilla/5.0(Macintosh; Inter Mac OS X 10_13_3) AppleWebKit/537.36(KHTML, like Gecko) Chrome/65.0.3323.162. Safari/537.36' } response = requests.get(url, headers=headers) if response.status_code == 200: return response.text return None except RequestException: return None def parse_one_page(html): pattern = re.compile('<dd>.*?board-index.*?>(.*?)</i>.*?data-src="(.*?)".*?name.*?a.*?>(.*?)</a>.*?star.*?>(.*?)</p>.*?releasetime.*?>(.*?)</p>.*?integer.*?>(.*?)</i>.*?fraction.*?>(.*?)</i>.*?</dd>', re.S) items = re.findall(pattern, html) for item in items: yield { 'index':item[0], 'image':item[1], 'title':item[2].strip(), 'actor':item[3].strip()[3:], 'time':item[4].strip()[5:], 'score':item[5] + item[6] } def write_to_file(content): with open('MaoYanTop100.txt', 'a', encoding='utf-8') as f: f.write(json.dumps(content, ensure_ascii=False)+'\n') def main(offset): url = 'http://maoyan.com/board/4?offset=' + str(offset) html = get_one_page(url) for item in parse_one_page(html): print(item) write_to_file(item) if __name__ == '__main__': for i in range(10): main(offset=i * 10) time.sleep(1)
4061
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
