利用爬虫获取免费IP代理

项目目标

通过爬虫获取“西拉代理”（http://www.xiladaili.com）上的高匿代理，并储存至一个列表。

项目分析

首先对网页进行观察，主体内容如下图所示。

不但指明了代理IP、协议类型，还有存活时间、打分这些数据。有需要的朋友，可以根据存活时间、打分来有选择性地挑选一些代理，这样获得的代理更加稳定。我仅展示最朴素的方法，即爬取网页上的所有代理。

网页下方有翻页按钮，点击不同页码，可以看到网页url也是非常有规律地在变动。

一看到这么规整的数据展示，就想到了表格。我们打开浏览器的开发者模式，定位到这一片数据的源代码。可以看到的所有的数据都藏在名为tbody节点中。

整个项目的思路大致有了，大体有以下三个步骤：
①访问相关页面，读取网页源代码；
②在网页源代码中定位到tbody，从中提取每一行的IP等数据；
③保存至列表中。

在代码实现阶段，我们用selenium模拟浏览器的访问，用Beautifu