爬虫之urllib2库的基本使用
所谓网页抓取,就是把URL地址中指定的网络资源从网络流中读取出来,保存到本地。在python中有很多库可以用来抓取网页。
urllib2是python2.7自带的模块(不需要下载,导入即可使用)
urllib2官方文档:https://docs.python.org/2/library/urllib2.html
urllib2源码:https://hg.python.org/cpython/file/2.7/Lib/urllib2.py
注意:urllib2在python3..x中被改为urllib.request
urlopen
python自带的模块:/usr/lib/python2.7/urllib2.py
python第三方模块:use/local/lib/python2.7/user
用urllib爬取网页。
方法一:
以下代码使用的是python 3.6版本。
方法二:
用浏览器看控制台方法:
右键选择“检查”,然后选择“network”,再刷新页面,看name和headers.
爬取页面必须写User-Agent。