python requests返回值为200 但是text无内容_Python爬虫是如何抓取并储存网页数据的?...

本文通过一个Python爬虫实例讲解了当requests返回状态码200但获取不到内容的问题,以及如何解析网页、提取div下的中文内容,并介绍了数据抓取的基本流程和存储方法,以B站视频热榜为例。
摘要由CSDN通过智能技术生成

436313f7e018834831cda92b5f7bd6aa.png

80f8ab3f2d474399b959b7b77e7df682.png

d758df592e333651efd7db6d9a706707.png

爬虫是Python的一个重要的应用,使用Python爬虫我们可以轻松的从互联网中抓取我们想要的数据,本文将基于爬取B站视频热搜榜单数据并存储为例,四个步骤详细介绍Python爬虫的基本流程。

Step 1

请求尝试

首先进入b站首页,点击排行榜并复制链接。
https://www.bilibili.com/ranking?spm_id_from=333.851.b_7072696d61727950616765546162.3
启动 Jupyter notebook ,并运行以下代码:
import requests

url = 'https://www.bilibili.com/ranking?spm_id_from=333.851.b_7072696d61727950616765546162.3'
res = requests.get('url')
print(res.status_code)
#200
在上面的代码中,完成下面三件事:
  • 导入requests
  • 使用get方法构造请求
  • 使用status_code获取网页状态码
可以看到返回值是 200 ,表示服务器正常响应,这意味着我们可以继续进行。

Step 2

解析页面

在上一步我们通过requests向网站请求数据后࿰
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值