爬虫初探,获取一个页面

本文介绍了Python爬虫的基础,包括使用Win7和Python2.7环境,利用urllib和urllib2模块抓取网页内容。在尝试获取糗事百科首页时遇到反爬机制,通过设置浏览器头部信息成功伪装成浏览器,解决了乱码问题,最终成功获取并解码UTF-8的页面内容。
摘要由CSDN通过智能技术生成
环境
  • Win7+Python2.7
  • urllib+urllib2

[!] urllib模块和urllib2模块的区别

urllib2可以接受一个Request类的实例来设置URL请求的headers,urllib仅可以接受URL。

urllib提供urlencode方法用来GET查询字符串的产生,而urllib2没有。

工作流程

定位需要爬取的页面,糗事百科首页https://www.qiushibaike.com/

用urllib2的Request类构建一个request

url = "https://www.qiushibaike.com/"
request = urllib2.Request(url)

接下来用urllib2的urlopen方法来请求页面,并获取响应(即页面内容)

response = urllib2.urlopen(request)

打印获取到的内容

print response.read()

运行我们的脚本,结果报错了:

Traceback (most recent call last):
  File "00_get_a_page.py", 
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值