我的第一个爬虫:request+pyquery爬取B站热门视频标题与播放量

爬虫步骤

  1. 发起请求;
  2. 获取响应内容;
  3. 解析内容;
  4. 保存数据。

具体实现

在写爬虫之前,我们先来看一下要爬取的网页。
在这里插入图片描述
上图是B站热门视频排行榜,需要的数据已经在图中标出,即视频名称和播放量。
接下来是具体的实现。
首先导入包。

import requests
from pyquery import PyQuery as pq
import pandas as pd

然后定义url和headers(包含了浏览器,编码等信息,网站会通过这部分信息来判断我们的身份),用request.get()方法向服务器发出请求,得到response对象。response.text打印出来就是网页的html。

url = 
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值