极客python之效率革命百度云_爬虫练习之找出B站最受欢迎的编程课程

首先感谢【小甲鱼】极客Python之效率革命。讲的很好，通俗易懂，适合入门。

要求：找出B站上那些播放量、弹幕排名靠前的编程类视频

下面的脚本是直接搜“编程”出现的20条记录，我们把标题给爬下来

# -*- coding:UTF-8 -*-

import requests

import bs4

res = requests.get("https://search.bilibili.com/all?keyword=%E7%BC%96%E7%A8%8B&from_source=banner_search")

with open('bilibili.txt', 'w', encoding='utf-8') as file:

file.write(res.text)

file.close()

soup = bs4.BeautifulSoup(res.text, 'html.parser')

titles = soup.find_all("li", class_="video matrix")

for each in titles:

print(each.a['title'])

输出：

[小甲鱼]零基础入门学习Python

零基础自学编程，不要学Python！| 推荐 2019 年适合学习的编程语言

Java零基础教程视频(适合Java 0基础，Java初学入门)

【C++入门】老九零基础学编程C++入门 老九学堂 徐嵩老师主讲

Python教程_600集Python从入门到精通教程(懂中文就能学会)

程序员直播写代码，数十万网友捧场，看看这段代码有多牛掰

家里蹲一年半，从零开始做独立游戏的心得

大家以为的编程是这样，然而实际上...

世界编程大赛前三名作品【每个exe只有64KB】(附下载链接)

当你精通了c++是什么感觉

史上最强C语言入门基础教程,从菜鸟到高手,学完可达企业级水平(1)

【算法】算法导论-麻省理工

自从学会了Python，我从来不为看什么电影发愁，好看的，付费的，百度不到资源的全部一网打井！

【完结C语言视频】老九零基础学编程C语言 老九学堂 徐嵩老师主讲

B站最强程序员耗时30分钟 300行代码，镇住腾讯高管!腾讯：聘用！

【微信小程序】从入门到入土课程

算法大神带你玩转数据结构 从入门到进阶 - 手把手从底层实现数据结构，层层深入，帮你提升编程内功

程序员面试因年龄大遭嫌弃，200行代码写下这个特效后，收到5份offer

Android精彩编程200例(全彩版)

李南江亲授-jQuery+Ajax从放弃到知根知底

如果print出去有编码问题报错，见另外一篇文章。

当然，我们也可以根据综合排序、最多点击、最新发布、最多弹幕、最多收藏进行排序；也可以根据视频时长进行排序；也可以根据所属区域进行排序。

下面写一个根据某个视频获得标签的脚本

import requests

import bs4

url = "https://www.bilibili.com/video/av4050443?from=search&seid=10111140175964360887"

def get_html(url):

headers = {

'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36'}

res = requests.get(url, headers=headers)

return res.text

def get_tags(url):

text = get_html(url)

soup = bs4.BeautifulSoup(text, "html.parser")

tags = soup.select("#v_tag > ul > li") # 主要是这个去定位标签

# tags = soup.select("ul[class = 'tag-area clearfix'] > li") 也可以这样写

tags = [each.a.text for each in tags]

return tags

def main():

text = get_tags(url)

with open('span.txt', 'a', encoding="utf-8") as file:

file.write(str(text))

file.close()

if __name__ == '__main__':

main()

这样，只要你给我一个视频的URL，我就还你该视频的标签。返回是一个列表的形式。这样为下节课的词云操作可以提供文本。