1 第一个网络爬虫（4）

总结

在这一章中，我写了第一个网络爬虫去读取一个非常简单的网页。当我以为可以去随意地爬虫任意一个网页的时候，却不得不面对残酷的现实。我会将我所遇到的一些问题列举出来。

http 与 https

在这一章节所爬虫的网页都是http格式的，当我们输入https的时候，却会报错（如果在我们的浏览器中，我们输入“http://www.baidu.com”，按下回车之后，网站链接会自动的改为“https://www.baidu.com”）。与此同时，“http://www.baidu.com”给出的结果与后面链接的地址是一模一样的，并没有什么区别。

至于http与https之间的区别，就是网络方面的知识了，这里我也不是懂的很多。不管则样，http不会影响你的爬虫。

URLError 与 HTTPError

这里需要关注的是两个错误之间的区别和联系。URLError可以理解为是这样一类错误：提供的爬虫地址错误；HTTPError则是：被服务器拒绝访问。

需要账号的网页

很可惜，这里是无法解决的。

所以说，我们还得继续努力，万里征途才刚刚开始！！！