python3学习（7）：链接爬虫，让爬虫跟踪链接，访问感兴趣的内容

环境：python3.6.5 + pycharm

注意事项：

1. 在python3中，urllib2、urlparser 和 robotparser 全部归于 urllib，该模块目前只包含5个子模块： urllib.error, urllib.parser,  urllib.request,  urllib.response,  urllib.robotparser

2. 链接必须为绝对路径，以便包含定位网页的所有内容。因为相对路径只有网页的路径部分，没有协议和服务器部分。

3.注意可能出现 链接A包含链接B，链接B里又包含了链接A的情况，避免重复爬取相同的链接进入死循环。

4. 避免爬取禁止爬取的URL，这就要解析 robots.txt 文件，还要注意避免爬虫陷阱（比如链接A包含链接B，链接B包含链接C，链接C包含链接D，……。

5. 要支持代理，并且限制下载速度，否则可能因下载速度过快造成服务器过载。

（代码改日补上）