python篇——urllib库详解

我们都知道python经常被用于爬取网页，而urllib是python里一个功能强大的库，经常被用于爬取网页。

此次主要是给大家详解urllib如何简单的爬取一个html界面以及如何收集有效ip代理。

爬取HTML具体代码：（以百度为例）

import urllib.request

#首先我们先用import导入urllib.request模块（urllib.request主要作用用来发送request和获取request的结果，request是发出请求的意思）

response=urllib.request.urlopen('https://www.baidu.com/')

#然后定义一个reponse（响应）通过URLopen请求响应从而获取百度信息

（urlopen是urllib.request模块提供的最基本的构造HTTP请求的方法，可以模拟浏览器的一个请求发起过程）

html=response.read()

#这里是定义一个html的对象，通过response.read返回一个html字符串类型

print(html)

#最后将HTML打印出来就好了

这就是一个非常简单的爬取页面的代码过程，感兴趣的盆友可以试一下！

然后我们接着讲如何用urllib库判断代理ip是否可用，代理ip的作用就是伪装，当我们爬取网页时，如果在短时间内大量的访问某个网站，那么那个网站可能就会限制你的ip，不让你爬取信息，所以这时候就出现了代理ip，代理ip就好似一个人皮面具，当你做坏事被逮捕时，警察只会以为你是另外一个人。

代理ip的获得方法很简单，只要在一些代理ip网站上注册后，就可以获得很多免费的代理ip，但是这种免费的代理ip由于使用的用户很多，所以往往寿命很短，每隔一段时间就有可能不可以用了，所以也可以选择购买高匿代理ip。

接下来给大家展示一下如何用python辨别这个代理ip是否可用，具体代码：

还是用到urllib库，httphandler等价于urlopen，也是模拟浏览器发起请求，debuglevel的作用主要是打开调试模式，由于urlopen函数不支持验证、cookie或者其它HTTP高级功能，所以为了防止验证码阻碍我们爬取页面，所以要使用bulid_opener,然后定义request、response对象来获取信息，用read输出，用decode解码。

proxy_switch就是代理服务器的意思，用if语句判断，proxy_switch=True是代理服务器开关，爬取失败就说明此ip不可用。

以上代码是黑马程序员编著的解析python网络爬虫这本书里的内容，感兴趣的可以购买阅读。