1. 爬取在线课程Excel版
昨天呢笔者外出去吃了一顿火锅,疫情期间在家馋了好久勒,所以就没有更新Python的每日一练,今天中午吃了饭之后,赶紧打开电脑给补上,嘿嘿。今天的案例主要是去爬取网易云课堂上与Python相关的1200多门课程。如图所示。
如果我们要在网易云上发布一门Python课程,那么就要对竞品进行分析。而要对竞品分析,首先要获取竞品数据,那么使用爬虫技术再合适不过了。使用Python爬虫技术爬取网易云课堂全部Python课程数据,并将爬取到的课程信息数据写入到Excel表格中。这个案例的技术要点就是将数据输入存入Excel,我们使用xlsxwriter模块实现该功能。使用前一定要安装该模块:
pip install --user -i http://pypi.douban.com/simple --trusted-host pypi.douban.com xlsxwriter
效果如图所示:
本文介绍如何使用Python爬虫技术抓取网易云课堂上的Python课程数据,包括存入Excel和MySQL数据库的方法。首先,通过requests和BeautifulSoup爬取课程信息并写入Excel;接着,讲解如何利用pymysql将数据存储到MySQL,涉及增删改查操作;最后,介绍了使用多进程加速爬取和入库的技巧,提高效率。
订阅专栏 解锁全文
143

被折叠的 条评论
为什么被折叠?



