【Python 爬虫入门项目】获取某站热门前100相关内容存到csv中

已于 2023-05-16 09:14:56 修改
阅读量1.1k 收藏 8
点赞数
文章标签： html 前端 爬虫
于 2023-05-15 15:52:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_53456019/article/details/130682192
版权

目录

1.爬虫介绍

2.1任务1：找到返回后台数据的URL

2.2 任务2：根据URL获取其中一页json数据并通过vscode规整代码

2.3  任务3：通过python爬取这个5个json文本（每个页面20条记录，共100条）

(1) 导入所需库

(2) 设置请求头——假装浏览器反反扒的第一步 

(3) 爬下第一页的20条热门数据json文本 

(4) 分析所需数据位置

(5) 循环获取5页共100条热门数据 ——f字符串语句

2.4  任务4：存到本地csv表【2】

 3.完整代码

4.后话

5.参考致谢

爬虫文章不能出现被获取（spider）网站页面，审核的哥哥姐姐辛苦了！

1.爬虫介绍

        一句话，假装浏览器向服务器发送请求获取大量数据，常见有get请求（直接回获取数据），post请求（发送表单来获取类似于注册登录等）

2.1任务1：找到返回后台数据的URL

下图为某站热门页面

某站主页->热门->综合热门 ，进入一条条的热门视频推荐页面

也就是在这个网址

  或者

进入热门页面之后：

 操作：F12 -> network -> XHR -> F5(一定要F5刷新一下) 【3】

        首先，根据经验，热门视频列表是一直可以往下拉更新的，因此在html里面找到所有数据是不可能的，肯定是通过一个URL请求后台数据，每下拉到底自动从后台请求下一页数据再传到html最后渲染出来。

        要找到请求后台数据这个URL可以往下多刷几页，就会看见规律，因此我们知道该页面是通过这个XHR类型的popular？ps={一次20个数据项}&pn{第几页}里面的url请求数据的。

   参照下图Request URL

（注意我们编程时通过改变pn=数字来获取不同页数据）

同时我们也能通过请求方法method为GET验证本页面通过get请求服务器数据并返回

2.2 任务2：根据URL获取其中一页json数据并通过vscode规整代码

小小实践一下访问这个第一页pn=1的URL看得到什么 

当 pn = 1

如果无法打开那就自己输入这个pn=1的url到搜索引擎去打开吧，可能这个连接是从csdn跳转出去的某站不给你访问。

         这不正是我们要找的吗？看不清楚可以将这个网页所有内容复制粘贴到vscode文本，shift+alt+f 格式规整后，可以看出就是一个这个网页上是json文件（JSON 就是 Javascript 对象和数组的字符串表示法，它使用文本表示一个 JS 对象或数组的信息，因此，JSON 的本质是字符串【1】）的形式（后续python爬取出来的text是str类型，还得通过json库将str转换成字典数据类型），后续可以通过python的字典与列表处理

2.3  任务3：通过python爬取这个5个json文本（每个页面20条记录，共100条）

(1) 导入所需库

import requests # 相当于浏览器发起请求
import json # 内置的库，不用下载 ，处理json数据的转换等操作
import csv #内置，处理csv文件按存取等操作

(2) 设置请求头——假装浏览器反反扒的第一步 

 找到这个请求头，里面的User-Agent是伪装最重要的，一般有了这个可以解决大部分反扒。

        

         我们声明一个headers字典，将User-Agent及其值复制到里面。有的项目还用到Cookie

# 用自己的就可以了
headers = {
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/113.0.0.0 Safari/537.3"
}

(3) 爬下第一页的20条热门数据json文本 

i = 1 # i为for循环做准备    
URL = f"https://api.bilibili.com/x/web-interface/popular?ps=20&pn={i}"
response = requests.get(URL,headers = headers)
# print(response.text) # response.text为str型的页面数据 
dict_heat = json.loads(response.text) # 将str转换成json格式数据
print(dict_heat)

有内容打印就行，内容会随着热门的改变而不一样 。

规整代码后清晰明了

(4) 分析所需数据位置

关键！关键！关键！这里字典与列表、字典与字典疯狂套套套 

(抱歉，下图是要找title不是tname，即最外层字典名["data"]["list"][0]["title"]，懒得改图了)

        再举一个例子，要得到第2个（则列表下标为1）热门tname，最外层字典名为dict_heat，则dict_heat["data"]["list"][1]["tname]

(5) 循环获取5页共100条热门数据 ——f字符串语句

# ps = 20 ,100 = 1*5
'''
我们需要类型tname，标题名title、描述desc，up主name、观看量view、弹幕数danmaku、点赞like，收藏favorite，硬币数coin
我们用字典dict_coint的键值对形式存储一条热门的上面这几个数据，因此，将这几个数据提取出来存进字典
我们用列表list_top100存储每一条热门字典
'''
list_top100 = []
# i从1-5，分别对应五个URL，每次循环就相当于浏览器每下拉到底就更新一页的20条热门
for i in range(1,6):
    URL = f"https://api.bilibili.com/x/web-interface/popular?ps=20&pn={i}"
    response = requests.get(URL,headers = headers)
    #print(type(response.text))
    dict_heat = json.loads(response.text)
    # print(dict_heat) 
    # 处理字典获取类型tname，标题名title、描述desc，up主name、观看量view、弹幕数danmaku、点赞like，收藏favorite，硬币数coin
    # li从0-19，每一个dict_heat字典list有20个热门，每次循环就是每条热门
    for li in range(20):
        dict_coint = {"tname":"","title":"","desc":"","owner":"","view":"","danmaku":"","like":"","favorite":"","coin":""}
        dict_coint["tname"] = dict_heat["data"]["list"][li]["tname"]
        dict_coint["title"] = dict_heat["data"]["list"][li]["title"]
        dict_coint["desc"] = dict_heat["data"]["list"][li]["desc"]
        dict_coint["owner"] = dict_heat["data"]["list"][li]["owner"]["name"]
        dict_coint["view"] = dict_heat["data"]["list"][li]["stat"]["view"]
        dict_coint["danmaku"] = dict_heat["data"]["list"][li]["stat"]["danmaku"]
        dict_coint["like"] = dict_heat["data"]["list"][li]["stat"]["like"]
        dict_coint["favorite"] = dict_heat["data"]["list"][li]["stat"]["favorite"]
        dict_coint["coin"] = dict_heat["data"]["list"][li]["stat"]["coin"]
        list_top100.append(dict_coint)
print(list_top100)

2.4  任务4：存到本地csv表【2】

with open(r"bilibili_top100.csv","w",encoding='utf-8-sig',newline='' ) as f:
    csv_writer = csv.writer((f))
    # 先写一行表头，我为了美观多加了一行序号
    csv_writer.writerow(["序号","类型","标题","描述","up主","浏览量","弹幕数","点赞数","收藏数","投币数"])
    # 还是注意多了序号
    # dodo是每次列表list_top100返回的一个字典
    for i, doto in enumerate(list_top100):
         csv_writer.writerow([i+1,doto["tname"],doto["title"],doto["desc"],doto["owner"],doto["view"],doto["danmaku"],doto["like"],doto["favorite"],doto["coin"]])

文件路径因为我是就在同级文件夹里

 3.完整代码

import requests # 相当于浏览器发起请求
from bs4 import BeautifulSoup #本次没用到
import json # 内置的库，不用下载 ，处理json数据的转换等操作
import csv #内置，处理csv文件按存取等操作

# 请求该网址获取热门数据json
url = "https://api.bilibili.com/x/web-interface/popular?ps=20&pn="
headers = {
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/113.0.0.0 Safari/537.3",
    #"Cookie":"buvid3=A2DE5D15-AB31-3498-3CBC-FAA2758718BC90917infoc; b_nut=1668129090; i-wanna-go-back=-1; _uuid=EE5768D2-C2C4-10AFE-102101-2108FF6310FB6791645infoc; nostalgia_conf=-1; LIVE_BUVID=AUTO2516681291427415; fingerprint=275df7b8b6dd68ec39d06535391183fd; buvid_fp_plain=undefined; PVID=1; b_ut=5; rpdid=0zbfAGvvia|1n8AfspM|1Ej|3w1OYp9G; CURRENT_BLACKGAP=0; is-2022-channel=1; CURRENT_FNVAL=4048; CURRENT_QUALITY=80; buvid_fp=275df7b8b6dd68ec39d06535391183fd; header_theme_version=CLOSE; CURRENT_PID=92db9e00-d55b-11ed-918b-ef0265900a07; FEED_LIVE_VERSION=V8; buvid4=DD914872-814A-E541-6411-AECE343B81A592381-022111109-QvnVcBMEUB9cj5ReWWq3ZPeCDe2iT%2F3aV%2FgOVu0WxxdlybTyg0qT7g%3D%3D; innersign=0; b_lsid=B53AC6D2_1881CE410C6; bsource=search_bing; home_feed_column=4; browser_resolution=1396-685; bp_video_offset_397001083=795738040063492200; SESSDATA=fc5e1f63%2C1699666280%2C63116%2A51; bili_jct=8b97f5de15f0e146666e1043c9311286; DedeUserID=397001083; DedeUserID__ckMd5=6986d46441593e09; sid=ftstla3y"
    #"Cookie":"buvid3=A2DE5D15-AB31-3498-3CBC-FAA2758718BC90917infoc; b_nut=1668129090; i-wanna-go-back=-1; _uuid=EE5768D2-C2C4-10AFE-102101-2108FF6310FB6791645infoc; nostalgia_conf=-1; LIVE_BUVID=AUTO2516681291427415; fingerprint=275df7b8b6dd68ec39d06535391183fd; buvid_fp_plain=undefined; PVID=1; b_ut=5; rpdid=0zbfAGvvia|1n8AfspM|1Ej|3w1OYp9G; CURRENT_BLACKGAP=0; is-2022-channel=1; CURRENT_FNVAL=4048; CURRENT_QUALITY=80; buvid_fp=275df7b8b6dd68ec39d06535391183fd; header_theme_version=CLOSE; CURRENT_PID=92db9e00-d55b-11ed-918b-ef0265900a07; FEED_LIVE_VERSION=V8; buvid4=DD914872-814A-E541-6411-AECE343B81A592381-022111109-QvnVcBMEUB9cj5ReWWq3ZPeCDe2iT%2F3aV%2FgOVu0WxxdlybTyg0qT7g%3D%3D; innersign=0; b_lsid=B53AC6D2_1881CE410C6; bsource=search_bing; home_feed_column=4; browser_resolution=1396-685; bp_video_offset_397001083=795738040063492200; sid=fnz9238s"
}
# ps = 20 ,100 = 1*5
list_top100 = []
for i in range(1,6):
    URL = f"https://api.bilibili.com/x/web-interface/popular?ps=20&pn={i}"
    response = requests.get(URL,headers = headers)
    #print(type(response.text)) #test code: 200
    dict_heat = json.loads(response.text)
    # print(dict_heat) Sucess
    # 处理字典获取类型tname，标题名title、描述desc，up主name、观看量view、弹幕数danmaku、点赞like，收藏favorite，硬币数coin
    for li in range(20):
        dict_coint = {"tname":"","title":"","desc":"","owner":"","view":"","danmaku":"","like":"","favorite":"","coin":""}
        dict_coint["tname"] = dict_heat["data"]["list"][li]["tname"]
        dict_coint["title"] = dict_heat["data"]["list"][li]["title"]
        dict_coint["desc"] = dict_heat["data"]["list"][li]["desc"]
        dict_coint["owner"] = dict_heat["data"]["list"][li]["owner"]["name"]
        dict_coint["view"] = dict_heat["data"]["list"][li]["stat"]["view"]
        dict_coint["danmaku"] = dict_heat["data"]["list"][li]["stat"]["danmaku"]
        dict_coint["like"] = dict_heat["data"]["list"][li]["stat"]["like"]
        dict_coint["favorite"] = dict_heat["data"]["list"][li]["stat"]["favorite"]
        dict_coint["coin"] = dict_heat["data"]["list"][li]["stat"]["coin"]
        list_top100.append(dict_coint)
print(list_top100)
with open(r"bilibili_top100.csv","w",encoding='utf-8-sig',newline='' ) as f:
    csv_writer = csv.writer((f))
    csv_writer.writerow(["序号","类型","标题","描述","up主","浏览量","弹幕数","点赞数","收藏数","投币数"])
    for i, doto in enumerate(list_top100):
         csv_writer.writerow([i+1,doto["tname"],doto["title"],doto["desc"],doto["owner"],doto["view"],doto["danmaku"],doto["like"],doto["favorite"],doto["coin"]])

4.后话

通过获取json，我们还能看到封面url、视频连接等其他数据， 

5.参考致谢

 【1】csdn——JSON 本质就是字符串？？？( 刚学JSON时)

 【2】来自博客园——解决写入csv读取乱码——utf-8-sig

 【3】csdn——有关XHR是什么

Breakthrough_code
关注
Python 小爬虫入门：爬取专栏文章标题保存到 CSV 文件中
一杯水果茶！足矣~
09-29 461
先从网页中提取出文章标题，再将提取出的文章标题存储到CSV文件中，然后修改编码格式防止乱码。
chatgpt赋能python：Python教程：如何选取前100行数据？
weixin_45566993的博客
06-19 1401
本文由chatgpt生成，文章没有在chatgpt生成的基础上进行任何的修改。以上只是chatgpt能力的冰山一角。作为通用的Aigc大模型，只是展现它原本的实力。对于颠覆工作方式的ChatGPT，应该选择拥抱而不是抗拒，未来属于“会用”AI的人。🧡AI职场汇报智能办公文案写作效率提升教程 🧡专注于AI+职场+办公方向。下图是课程的整体大纲下图是AI职场汇报智能办公文案写作效率提升教程中用到的ai工具。
python如何读取百万级的csv文件-在python中顺序读取巨大的CSV文件
weixin_37988176的博客
10-29 429
I have a 10gb CSV file that contains some information that I need to use.As I have limited memory on my PC, I can not read all the file in memory in one single batch. Instead, I would like to iterativ...
python导入csv文件是如何预览后10行-使用python中的csv reader只读取前N行csv文件
weixin_39838829的博客
11-11 745
我将一些csv文件的第二列中包含的文本添加到一个列表中，以便稍后对列表中的每个项目执行情绪分析。我的代码目前完全适用于大型csv文件，但是我对列表中的项目执行的情感分析花费了太长时间，这就是为什么我只想读取每个csv文件的前200行。代码如下所示：import nltk, string, lumpyimport mathimport globfrom collections import defa...
Python爬虫入门之2022软科中国大学排名爬取保存到csv文件
qq_63524458的博客
11-30 8104
“2022软科中国大学排名”为数据建立建立1-10名和11-20名的两个csv文件，并对两个文件进行合并，转化格式等操作。获得“2022软科中国大学排名”数据，从https://www.shanghairanking.cn/rankings/bcur/2022网页中获得排名数据信息，并将数据保存到csv文件中。 2、调用两个CSV文件，将他们合成一个文件，并按排名先后对其进行排序 3、将合并文件储存为txt文件和json文件
爬取某瓣top250，并将保存到csv（新手入门，手把手教学）
weixin_74959048的博客
08-01 2302
python 初级爬虫学习，欢迎各位知道错误，来评论区说出不足之处，能够促进大家更好的学习，谢谢
python爬虫 入门 基础 100道题
12-14
Python爬虫是编程领域中一个热门且实用的技能，它主要应用于数据挖掘、数据分析和自动化信息获取。本教程“Python爬虫 入门 基础 100道题”旨在帮助初学者掌握Python爬虫的基础知识，通过一系列练习题来加深理解。 ...
python爬虫教程从入门到精通
08-16
以上就是根据“Python爬虫教程从入门到精通”的标题、描述及部分内容生成的相关知识点概览。本教程旨在全面覆盖从基础知识到实战项目的各个环节，帮助学员系统地学习Python爬虫技术，为成为高级爬虫工程师打下坚实的...
Python爬虫入门.zip
最新发布
05-31
【Python爬虫入门】 在信息技术日新月异的今天，数据已经成为了一种重要的资源。Python作为一种简洁且功能强大的编程语言，因其丰富的库支持和易读性，成为了爬虫开发的首选工具。本资料包“Python爬虫入门.zip”...
零基础Python爬虫从入门到精通教程[视频课程].txt打包整理.zip
03-07
【Python爬虫基础概念】 Python爬虫是一种自动化网络数据抓取技术，它是通过编写特定的Python代码来模拟人类浏览网页的行为，抓取网页上的信息。Python作为一门强大的编程语言，因其简洁明了的语法和丰富的第三方库...
爬虫系列：存储 CSV 文件
oHuangBing的博客
12-09 1559
本期将讲解如果将数据保存到 CSV 文件。 逗号分隔值（Comma-Separated Values，CSV，有时也称为字符分隔值，因为分隔字符也可以不是逗号）是存储表格数据常用文件格式。Microsoft Excel 和很多应用都支持 CSV 格式，因为它很简洁。下面是一个 CSV 文件的例子： code,parentcode,level,name,parentcodes,province,city,district,town,pinyin,jianpin,firstchar,tel,zip,lng
Python爬虫100个入门项目
LouisLee 的博客
02-03 1万+
淘宝模拟登录 天猫商品数据爬虫 爬取淘宝我已购买的宝贝数据 每天不同时间段通过微信发消息提醒女友 爬取5K分辨率超清唯美壁纸 爬取豆瓣排行榜电影数据(含GUI界面版) 多线程+代理池爬取天天基金网、股票数据(无需使用爬虫框架) 一键生成微信个人专属数据报告(了解你的微信社交历史) 一键生成QQ个人历史报告 微信公众号文章爬虫 新浪微博爬虫分享（一天可抓取 1300 万条数据） 新浪微博分布式爬虫分...
python爬虫100例教程 python爬虫实例100例子
热门推荐
dhyuan_88的博客
09-10 3万+
python爬虫100例教程 python爬虫实例100例子 涉及主要知识点: web是如何交互的 requests库的get、post函数的应用 response对象的相关函数，属性 python文件的打开，保存 代码中给出了注释，并且可以直接运行哦 如何安装requests库(安装好python的朋友可以直接参考，没有的，建议先装一哈python环境) windows用户，Linux用户几乎一样: 打开cmd输入以下命令即可，如果python的环境在C盘的目录，会提示权限不够，只需以管
python爬虫100例之001
weixin_53923932的博客
02-15 623
简单爬虫小案例
python 爬虫生成csv文件和图_python爬虫系列(4.2-python操作csv文件)
weixin_39554172的博客
11-30 378
一、关于csv文件的介绍CSV(Comma-Separated Values)即逗号分隔值，可以用Excel打开查看。由于是纯文本，任何编辑器也都可打开。与Excel文件不同,CSV文件中：值没有类型，所有值都是字符串不能指定字体颜色等样式不能指定单元格的宽高，不能合并单元格没有多个工作表不能嵌入图像图表打开方式:直接用Excel打开,看起来是表格用记事本或者编辑器打开就是一坨用,分开的字符1、导...
【爬虫】csv文件写入和读取
Fx_2003的博客
11-02 2976
通过爬虫案例，将爬取的标题文本写入csv文件。介绍了csv模块
Python爬虫入门教程 99-100 Python爬虫在线服务大全
梦想橡皮擦，专栏100例写作模式先行者，现象级专栏 《Python 爬虫 100 例》作者、《滚雪球学 Python 专栏》原创者
10-27 2万+
python爬虫不能一味的蛮干，有时候借助第三方提供的工具或者服务，快速达成爬取目标，不失为一种奇妙的解决技巧。
Python爬虫项目100例，零基础自学必备
xx132456的博客
04-26 2056
Python爬虫项目100例，零基础自学必备
【爬虫】4.3. CSV文件存储
likinguuu的博客
08-25 741
CSV，全称为Comma-Separated Values，中文叫做逗号分隔值或字符分隔值，其文件以纯文本形式存储表格数据。他比Excel文件更加简洁，CSV没有Excel的数值公式等内容，就是单纯以特定字符作为分隔符的纯文本，结构简单清晰。
Python爬虫入门到实战，全面工具教程集合
文件的具体内容未在描述中详细说明，但可以从描述中推断出，该资源提供了一系列工具和教程，覆盖了从入门到进阶的Python爬虫技术，适合不同水平的用户学习和实践。 标签"python 爬虫 工具 脚本 项目"揭示了该资源的...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值