【Python 爬虫入门项目】获取某站热门前100相关内容存到csv中

已于 2023-05-16 09:14:56 修改
阅读量651 收藏 5
点赞数
文章标签： html 前端 爬虫
于 2023-05-15 15:52:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_53456019/article/details/130682192
版权

目录

1.爬虫介绍

2.1任务1：找到返回后台数据的URL

2.2 任务2：根据URL获取其中一页json数据并通过vscode规整代码

2.3  任务3：通过python爬取这个5个json文本（每个页面20条记录，共100条）

(1) 导入所需库

(2) 设置请求头——假装浏览器反反扒的第一步 

(3) 爬下第一页的20条热门数据json文本 

(4) 分析所需数据位置

(5) 循环获取5页共100条热门数据 ——f字符串语句

2.4  任务4：存到本地csv表【2】

 3.完整代码

4.后话

5.参考致谢

爬虫文章不能出现被获取（spider）网站页面，审核的哥哥姐姐辛苦了！

1.爬虫介绍

        一句话，假装浏览器向服务器发送请求获取大量数据，常见有get请求（直接回获取数据），post请求（发送表单来获取类似于注册登录等）

2.1任务1：找到返回后台数据的URL

下图为某站热门页面

某站主页->热门->综合热门 ，进入一条条的热门视频推荐页面

也就是在这个网址

  或者

进入热门页面之后：

 操作：F12 -> network -> XHR -> F5(一定要F5刷新一下) 【3】

        首先，根据经验，热门视频列表是一直可以往下拉更新的，因此在html里面找到所有数据是不可能的，肯定是通过一个URL请求后台数据，每下拉到底自动从后台请求下一页数据再传到html最后渲染出来。

        要找到请求后台数据这个URL可以往下多刷几页，就会看见规律，因此我们知道该页面是通过这个XHR类型的popular？ps={一次20个数据项}&pn{第几页}里面的url请求数据的。

   参照下图Request URL

（注意我们编程时通过改变pn=数字来获取不同页数据）

同时我们也能通过请求方法method为GET验证本页面通过get请求服务器数据并返回

2.2 任务2：根据URL获取其中一页json数据并通过vscode规整代码

小小实践一下访问这个第一页pn=1的URL看得到什么 

当 pn = 1

如果无法打开那就自己输入这个pn=1的url到搜索引擎去打开吧，可能这个连接是从csdn跳转出去的某站不给你访问。

         这不正是我们要找的吗？看不清楚可以将这个网页所有内容复制粘贴到vscode文本，shift+alt+f 格式规整后，可以看出就是一个这个网页上是json文件（JSON 就是 Javascript 对象和数组的字符串表示法，它使用文本表示一个 JS 对象或数组的信息，因此，JSON 的本质是字符串【1】）的形式（后续python爬取出来的text是str类型，还得通过json库将str转换成字典数据类型），后续可以通过python的字典与列表处理

2.3  任务3：通过python爬取这个5个json文本（每个页面20条记录，共100条）

(1) 导入所需库

import requests # 相当于浏览器发起请求
import json # 内置的库，不用下载 ，处理json数据的转换等操作
import csv #内置，处理csv文件按存取等操作

(2) 设置请求头——假装浏览器反反扒的第一步 

 找到这个请求头，里面的User-Agent是伪装最重要的，一般有了这个可以解决大部分反扒。

        

         我们声明一个headers字典，将User-Agent及其值复制到里面。有的项目还用到Cookie

# 用自己的就可以了
headers = {
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/113.0.0.0 Safari/537.3"
}

(3) 爬下第一页的20条热门数据json文本 

i = 1 # i为for循环做准备    
URL = f"https://api.bilibili.com/x/web-interface/popular?ps=20&pn={i}"
response = requests.get(URL,headers = headers)
# print(response.text) # response.text为str型的页面数据 
dict_heat = json.loads(response.text) # 将str转换成json格式数据
print(dict_heat)

有内容打印就行，内容会随着热门的改变而不一样 。

规整代码后清晰明了

(4) 分析所需数据位置

关键！关键！关键！这里字典与列表、字典与字典疯狂套套套 

(抱歉，下图是要找title不是tname，即最外层字典名["data"]["list"][0]["title"]，懒得改图了)

        再举一个例子，要得到第2个（则列表下标为1）热门tname，最外层字典名为dict_heat，则dict_heat["data"]["list"][1]["tname]

(5) 循环获取5页共100条热门数据 ——f字符串语句

# ps = 20 ,100 = 1*5
'''
我们需要类型tname，标题名title、描述desc，up主name、观看量view、弹幕数danmaku、点赞like，收藏favorite，硬币数coin
我们用字典dict_coint的键值对形式存储一条热门的上面这几个数据，因此，将这几个数据提取出来存进字典
我们用列表list_top100存储每一条热门字典
'''
list_top100 = []
# i从1-5，分别对应五个URL，每次循环就相当于浏览器每下拉到底就更新一页的20条热门
for i in range(1,6):
    URL = f"https://api.bilibili.com/x/web-interface/popular?ps=20&pn={i}"
    response = requests.get(URL,headers = headers)
    #print(type(response.text))
    dict_heat = json.loads(response.text)
    # print(dict_heat) 
    # 处理字典获取类型tname，标题名title、描述desc，up主name、观看量view、弹幕数danmaku、点赞like，收藏favorite，硬币数coin
    # li从0-19，每一个dict_heat字典list有20个热门，每次循环就是每条热门
    for li in range(20):
        dict_coint = {"tname":"","title":"","desc":"","owner":"","view":"","danmaku":"","like":"","favorite":"","coin":""}
        dict_coint["tname"] = dict_heat["data"]["list"][li]["tname"]
        dict_coint["title"] = dict_heat["data"]["list"][li]["title"]
        dict_coint["desc"] = dict_heat["data"]["list"][li]["desc"]
        dict_coint["owner"] = dict_heat["data"]["list"][li]["owner"]["name"]
        dict_coint["view"] = dict_heat["data"]["list"][li]["stat"]["view"]
        dict_coint["danmaku"] = dict_heat["data"]["list"][li]["stat"]["danmaku"]
        dict_coint["like"] = dict_heat["data"]["list"][li]["stat"]["like"]
        dict_coint["favorite"] = dict_heat["data"]["list"][li]["stat"]["favorite"]
        dict_coint["coin"] = dict_heat["data"]["list"][li]["stat"]["coin"]
        list_top100.append(dict_coint)
print(list_top100)

2.4  任务4：存到本地csv表【2】

with open(r"bilibili_top100.csv","w",encoding='utf-8-sig',newline='' ) as f:
    csv_writer = csv.writer((f))
    # 先写一行表头，我为了美观多加了一行序号
    csv_writer.writerow(["序号","类型","标题","描述","up主","浏览量","弹幕数","点赞数","收藏数","投币数"])
    # 还是注意多了序号
    # dodo是每次列表list_top100返回的一个字典
    for i, doto in enumerate(list_top100):
         csv_writer.writerow([i+1,doto["tname"],doto["title"],doto["desc"],doto["owner"],doto["view"],doto["danmaku"],doto["like"],doto["favorite"],doto["coin"]])

文件路径因为我是就在同级文件夹里

 3.完整代码

import requests # 相当于浏览器发起请求
from bs4 import BeautifulSoup #本次没用到
import json # 内置的库，不用下载 ，处理json数据的转换等操作
import csv #内置，处理csv文件按存取等操作

# 请求该网址获取热门数据json
url = "https://api.bilibili.com/x/web-interface/popular?ps=20&pn="
headers = {
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/113.0.0.0 Safari/537.3",
    #"Cookie":"buvid3=A2DE5D15-AB31-3498-3CBC-FAA2758718BC90917infoc; b_nut=1668129090; i-wanna-go-back=-1; _uuid=EE5768D2-C2C4-10AFE-102101-2108FF6310FB6791645infoc; nostalgia_conf=-1; LIVE_BUVID=AUTO2516681291427415; fingerprint=275df7b8b6dd68ec39d06535391183fd; buvid_fp_plain=undefined; PVID=1; b_ut=5; rpdid=0zbfAGvvia|1n8AfspM|1Ej|3w1OYp9G; CURRENT_BLACKGAP=0; is-2022-channel=1; CURRENT_FNVAL=4048; CURRENT_QUALITY=80; buvid_fp=275df7b8b6dd68ec39d06535391183fd; header_theme_version=CLOSE; CURRENT_PID=92db9e00-d55b-11ed-918b-ef0265900a07; FEED_LIVE_VERSION=V8; buvid4=DD914872-814A-E541-6411-AECE343B81A592381-022111109-QvnVcBMEUB9cj5ReWWq3ZPeCDe2iT%2F3aV%2FgOVu0WxxdlybTyg0qT7g%3D%3D; innersign=0; b_lsid=B53AC6D2_1881CE410C6; bsource=search_bing; home_feed_column=4; browser_resolution=1396-685; bp_video_offset_397001083=795738040063492200; SESSDATA=fc5e1f63%2C1699666280%2C63116%2A51; bili_jct=8b97f5de15f0e146666e1043c9311286; DedeUserID=397001083; DedeUserID__ckMd5=6986d46441593e09; sid=ftstla3y"
    #"Cookie":"buvid3=A2DE5D15-AB31-3498-3CBC-FAA2758718BC90917infoc; b_nut=1668129090; i-wanna-go-back=-1; _uuid=EE5768D2-C2C4-10AFE-102101-2108FF6310FB6791645infoc; nostalgia_conf=-1; LIVE_BUVID=AUTO2516681291427415; fingerprint=275df7b8b6dd68ec39d06535391183fd; buvid_fp_plain=undefined; PVID=1; b_ut=5; rpdid=0zbfAGvvia|1n8AfspM|1Ej|3w1OYp9G; CURRENT_BLACKGAP=0; is-2022-channel=1; CURRENT_FNVAL=4048; CURRENT_QUALITY=80; buvid_fp=275df7b8b6dd68ec39d06535391183fd; header_theme_version=CLOSE; CURRENT_PID=92db9e00-d55b-11ed-918b-ef0265900a07; FEED_LIVE_VERSION=V8; buvid4=DD914872-814A-E541-6411-AECE343B81A592381-022111109-QvnVcBMEUB9cj5ReWWq3ZPeCDe2iT%2F3aV%2FgOVu0WxxdlybTyg0qT7g%3D%3D; innersign=0; b_lsid=B53AC6D2_1881CE410C6; bsource=search_bing; home_feed_column=4; browser_resolution=1396-685; bp_video_offset_397001083=795738040063492200; sid=fnz9238s"
}
# ps = 20 ,100 = 1*5
list_top100 = []
for i in range(1,6):
    URL = f"https://api.bilibili.com/x/web-interface/popular?ps=20&pn={i}"
    response = requests.get(URL,headers = headers)
    #print(type(response.text)) #test code: 200
    dict_heat = json.loads(response.text)
    # print(dict_heat) Sucess
    # 处理字典获取类型tname，标题名title、描述desc，up主name、观看量view、弹幕数danmaku、点赞like，收藏favorite，硬币数coin
    for li in range(20):
        dict_coint = {"tname":"","title":"","desc":"","owner":"","view":"","danmaku":"","like":"","favorite":"","coin":""}
        dict_coint["tname"] = dict_heat["data"]["list"][li]["tname"]
        dict_coint["title"] = dict_heat["data"]["list"][li]["title"]
        dict_coint["desc"] = dict_heat["data"]["list"][li]["desc"]
        dict_coint["owner"] = dict_heat["data"]["list"][li]["owner"]["name"]
        dict_coint["view"] = dict_heat["data"]["list"][li]["stat"]["view"]
        dict_coint["danmaku"] = dict_heat["data"]["list"][li]["stat"]["danmaku"]
        dict_coint["like"] = dict_heat["data"]["list"][li]["stat"]["like"]
        dict_coint["favorite"] = dict_heat["data"]["list"][li]["stat"]["favorite"]
        dict_coint["coin"] = dict_heat["data"]["list"][li]["stat"]["coin"]
        list_top100.append(dict_coint)
print(list_top100)
with open(r"bilibili_top100.csv","w",encoding='utf-8-sig',newline='' ) as f:
    csv_writer = csv.writer((f))
    csv_writer.writerow(["序号","类型","标题","描述","up主","浏览量","弹幕数","点赞数","收藏数","投币数"])
    for i, doto in enumerate(list_top100):
         csv_writer.writerow([i+1,doto["tname"],doto["title"],doto["desc"],doto["owner"],doto["view"],doto["danmaku"],doto["like"],doto["favorite"],doto["coin"]])

4.后话

通过获取json，我们还能看到封面url、视频连接等其他数据， 

5.参考致谢

 【1】csdn——JSON 本质就是字符串？？？( 刚学JSON时)

 【2】来自博客园——解决写入csv读取乱码——utf-8-sig

 【3】csdn——有关XHR是什么

Breakthrough_code
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
python数据爬取美食网站xpath解析并将美食数据存入csv文件按照人气数据分析可视化
07-04
主要实现了以下功能，实现了以下功能： 爬取数据：代码使用requests库发送HTTP请求，获取美食网站的页面内容。每次获取一页的内容，通过循环可以获取多页的数据。 数据处理：代码使用lxml库对HTML内容进行解析，使用XPath表达式提取美食的名称、人气、评论、发布者和图片等信息。同时，对评论和人气数据进行处理，使用正则表达式匹配并提取出数字内容。 存储到CSV文件：代码在每次循环中，通过csv库将美食数据存储到CSV文件中。以追加写入的方式打开CSV文件，使用csv.writer写入每一行的数据，确保数据的完整性和格式正确。 数据可视化：代码使用pandas库读取CSV文件中的数据，并通过sort_values方法对数据按照人气进行降序排序。然后，通过matplotlib库绘制水平柱状图，展示人气排名前10的菜品。设置中文显示，调整字体，添加标签和标题，最后显示图像。 通过以上功能，这段代码实现了从美食网站爬取数据，并进行数据处理、存储到CSV文件和可视化数据的功能。用户可以通过这段代码快速获取美食网站的数据，进行数据分析和可视化显示人气排名前10的菜品。
怎么将爬取的数据保存为csv文件
djdbdhsjd的博客
08-27 2392
注意，在将数据写入CSV文件时，需要确保数据中不包含逗号、引号等特殊字符，否则可能会导致CSV文件格式错误。方法将其写入CSV文件中。如果要将列名写入CSV文件中，请使用。函数创建一个CSV写入器对象，然后使用。方法将列名写入CSV文件中。返回一个包含所有数据值的列表，然后使用。newline=''用于避免出现空行。的文件，并指定写入模式（'w'）和。方法将数据写入CSV文件中。方法将列名作为列表传递给它。函数用于打开一个名为。
chatgpt赋能python：Python教程：如何选取前100行数据？
weixin_45566993的博客
06-19 1199
本文由chatgpt生成，文章没有在chatgpt生成的基础上进行任何的修改。以上只是chatgpt能力的冰山一角。作为通用的Aigc大模型，只是展现它原本的实力。对于颠覆工作方式的ChatGPT，应该选择拥抱而不是抗拒，未来属于“会用”AI的人。🧡AI职场汇报智能办公文案写作效率提升教程 🧡专注于AI+职场+办公方向。下图是课程的整体大纲下图是AI职场汇报智能办公文案写作效率提升教程中用到的ai工具。
Python爬虫实战，爬取某招聘网站数据并保存csv文件（附源码）
Everly_的博客
11-20 2747
Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。
【Python爬虫案例学习10】基于Requests爬取拉勾网招聘信息，并保存至本地csv文件
人生苦短， 还不用Python？
08-05 1146
开发环境： MacBook Air (13-inch, Early 2015) macOS High Sierra 10.13.6 1.6GHZ Inter Core i5 Python：V 3.7.0 拉勾网Html页面分析 首先，使用自己账号登陆拉勾网，这个在分析header中会带有cookies等信息，在spider模拟访问请求的url时，被反爬虫的概率更小些（ps：拉勾网总不至于不让用...
python爬虫——保存数据为.csv文件
热门推荐
weixin_56067972的博客
11-15 1万+
爬虫存储数据为.csv文件
python爬虫（爬取任意贴吧网页(前一千页），并保存在本地）
weixin_43399314的博客
03-22 1365
这是自己照着打的第一个较为完整的爬虫 import requests class Tieba_Spider: def int(self,tieba_name): self.tieba_name = tieba_name self.url_name =“https://tieba.baidu.com/f?kw=”+tieba_name+"&ie=utf-8&pn={}" self....
数据分析4 -- 将爬取的数据保存成CSV格式
weixin_49848200的博客
09-22 8995
CSV（Comma-Separated Values） 是一种使用逗号分隔来实现存储表格数据的文本文件。我们都知道表格有多种形式的存储，比如 Excel 的格式或者数据库的格式。CSV 文件也可以存储表格数据，并且能够被多种软件兼容，比如 Excel 就能直接打开 CSV 文件的表格，很多数据库软件也支持导入 CSV 文件。除了兼容性好之外，CSV 格式还是所有能存储表格的格式中最简单的一种。下面，我们以一个例子来讲解 CSV 存储表格的原理。假设有如下员工信息的表格。
【用Vscode实现简单的python爬虫】从安装到配置环境变量到简单爬虫以及python中pip和request，bs4安装
m0_74942241的博客
10-27 1051
然后实现一个简单的爬虫，获取百度下的content，并打印出来。然后安装bs4 pip install bs4。同时安装pip install request。可以默认，也可以选择自己想要安装的路径。然后，vscode安装插件。第一步：安装python包。
chatgpt赋能python：Python怎样找出其中一列前三名
suimodina的博客
06-14 475
本文由chatgpt生成，文章没有在chatgpt生成的基础上进行任何的修改。以上只是chatgpt能力的冰山一角。作为通用的Aigc大模型，只是展现它原本的实力。对于颠覆工作方式的ChatGPT，应该选择拥抱而不是抗拒，未来属于“会用”AI的人。🧡AI职场汇报智能办公文案写作效率提升教程 🧡专注于AI+职场+办公方向。下图是课程的整体大纲下图是AI职场汇报智能办公文案写作效率提升教程中用到的ai工具。
零基础Python爬虫从入门到精通-视频教程网盘链接提取码下载 .txt
02-21
本套视频教程适合想掌握爬虫技术的学习者，以企业主流版本Python 3.7来讲解，内容包括：Python基础、Urllib、解析（xpath、jsonpath、beautiful）、requests、selenium、Scrapy框架等。针对零基础的同学可以从头学起...
Python爬虫入门教程.docx
07-23
Python爬虫入门教程Python爬虫入门教程Python爬虫入门教程Python爬虫入门教程Python爬虫入门教程Python爬虫入门教程Python爬虫入门教程Python爬虫入门教程Python爬虫入门教程Python爬虫入门教程Python爬虫入门教程...
使用python获取csv文本的某行或某列数据的实例
09-20
下面小编就为大家分享一篇使用python获取csv文本的某行或某列数据的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
python爬虫入门到精通必备的书籍.docx
06-12
python是一种常见的网络爬虫语言，学习python爬虫，需要理论与实践相结合，Python生态中的爬虫库多如牛毛，urllib、urllib2、requests、beautifulsoup、scrapy、pyspider都是爬虫相关的库，但是如果没有理论知识，...
Web前端开发之HTML_3
最新发布
zx1026409886的博客
04-23 902
表单在Web网页中用来给用户填写信息，从而采集用户信息，使网页具有交互功能。所有的用户输入内容的地方都用表单来写，如登录注册、搜索框。表单是由容器和控件组成的，一个表单一般应包含用户填写信息的输入框，按钮等，这些输入框、按钮叫做控件，表单就是容器，它能够容纳各种各样的控件。
HTML中的页面可见性
小卡酷谋的博客
04-22 377
所以，所谓页面可见性，就是获取当前页面的可见状态。因为对于用户来讲可以打开好多标签页面来回切换，然而始终只有一个页面处于显示状态。所以我们可以通过页面可见性（Page Visibility）API 来判断当前页面是显示状态还是隐藏状态。页面事件来判断当前页面可见性的状态，并针对性的执行某些任务。长期以来一直缺少一个判断用户是否正在浏览某个指定标签页的方法。里页面可见性接口就提供给了程序员一个方法，让他们使用。用户是否去看别的网站了？更多有关页面可见性的内容可以参阅。"页面切换了~目前不可见"
高频前端面试题汇总之HTML篇
qq_51685537的博客
04-18 690
不同的渲染模式会影响浏览器对 CSS 代码甚⾄ JavaScript 脚本的解析。它必须声明在HTML⽂档的第⼀⾏。浏览器渲染页面的两种模式（可通过document.compatMode获取，比如，语雀官网的文档类型是。
HTML使用jQuery实现两个点击按钮，分别控制改文本字体颜色和字体大小
m0_65992344的博客
04-22 441
jQuery 是一个广泛使用的 JavaScript 库，旨在简化对 HTML 文档的操作、事件处理、动画效果和 AJAX 等操作。
【HTML】H5新增元素记录
kakaai77的博客
04-20 531
MDN文档：https://developer.mozilla.org/zh-CN/docs/Web/HTML/Element/Input。data-*是全局属性，可以在所有元素中定义，并且javascript中操作DOM通过dataset轻松获取到。HTML元素用于在HTML中嵌入媒体播放器，支持文档中的视频播放。HTML元素用于在文档中嵌入音频内容，和video的用法类似。遇到浏览器不支持MP4格式时，会自动切换到webm的格式。用途：通常用于HTML和javascritp的数据传递。
python爬虫入门
07-27
对于 Python 爬虫的入门，你可以按照以下步骤进行学习： 1. 了解基本的 HTML 和 CSS：爬虫需要解析网页的内容，因此你需要了解 HTML 和 CSS 的基本语法和结构。 2. 学习使用 Requests 库：Requests 是一个常用的 Python 库，用于发送 HTTP 请求并获取网页内容。你可以使用它来获取网页的 HTML 内容。 3. 掌握解析 HTML 的库：在爬取网页内容后，你需要使用解析库（如 Beautiful Soup 或 lxml）来处理 HTML 标签和结构，从而提取出需要的数据。 4. 学习处理数据和存储：一旦你获取了所需的数据，你可以使用 Python 的数据处理库（如 Pandas）进行数据清洗和分析。如果你想将数据保存下来，可以使用数据库（如 SQLite 或 MySQL）或者将其存储为文件（如 CSV 或 Excel）。 5. 了解反爬机制和处理策略：为了防止被网站屏蔽或封禁，你需要了解一些常见的反爬机制，并学习如何应对这些机制，例如设置合理的请求头、使用代理 IP 等。 6. 实践项目：通过完成一些小型的爬虫项目，例如爬取新闻、图片、电影信息等，来巩固所学的知识。 记住，在进行任何爬取操作之前，一定要遵守网站的爬虫规则，并尊重网站的隐私政策。此外，也要确保你的爬虫程序不会对网站的正常运行造成影响。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值