爬虫基础:python获取网页内容

python3x下,我们可以通过一下两种方式获取网页内容

获取地址: 国家地理中文网

url = 'http://www.ngchina.com.cn/travel/'

urllib库

1、导入库

from urllib import request

2、获取网页内容

with request.urlopen(url) as file:
    data = file.read()
    print(data)

运行发现报错了:

urllib.error.HTTPError: HTTP Error 403: Forbidden

主要是由于该网站禁止爬虫导致的,可以在请求加上头信息,伪装成浏览器访问 User-Agent

那我们给请求头部里添加一个 ‘User-Agent’字段

headers = {'User-Agent':'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Mobile Safari/537.36'}

# 创建请求
req = request.Request(url=url, headers=headers)
with request.urlopen(req) as response:
    # 读取response里的内容,并转码
    data1 = response.read().decode('utf-8') # 默认即为 utf-8
    print(data1)

关于 User-Agent,我们可以使用谷歌浏览器的开发者工具捕获查看

请求信息


requests

1、导入库

import requests

2、获取网页内容

with requests.get(url=url, headers=headers) as response:
    # 读取response里的内容,并转码
    data2 = response.content.decode()
    print(data2)

补充:

requests的response还可以获取更多信息的,包括cookies、头部、状态、url等等信息,想了解更多信息,请自行参考其他资料。

response.cookies
response.headers
response.status_code
response.url


在python2x下,可以参考这篇文章

python打开网页获取网页内容方法总结

  • 0
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值