- 博客(2)
- 收藏
- 关注
原创 当爬虫遇上重定向
爬虫之处理重定向问题问题导论什么是重定向?简单的说,重定向就是请求被转发到其他页面去了在生活中,当我们打开一个网址时,往往需要等待稍长一段时间,而最终 的网址也发生的 变化,这就是重定向。如果我们日常用浏览器浏览网站倒是没有什么问题,但是,当我们使用爬虫来爬取这样的页面时,真正的网址就会被忽略。那么,我们该如何处理这样的情况呢?实例分析下面我们以两个个真实的网址,我们要提取它...
2018-10-14 23:38:38 4501 1
原创 python学习之urllib使用小结
urllib库是python做爬虫中的基础库,也是许多初学者最先入手的地方,下面是我在学习和使用过程中的一些小结import urllib.request as ur 用于打开网址import urllib.error as ue 用于处理异常import urllib.parse as up 用于构造请求import http.cookiejar as hc 用于cookies的设置...
2018-10-08 02:17:37 204
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人