![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
一入Python深似海
RM -RF /星
本科EE在读
展开
-
【Python】Matplotlib基本用法(学习笔记)——参考《Python数据科学手册》
【Python】Matplotlib基本用法(学习笔记)——参考《Python数据科学手册》本文的参考资料:O’reilly出版的《Python数据科学手册》,该书在Github上开源,采用jupyter notebook编写。Matplotlib官网:https://matplotlib.org/Matplotlib画廊:https://matplotlib.org/gallery/index.html以下使用MPL作为matplotlib的简称。常用技巧常用的Matplotlib导入方式i原创 2020-08-01 03:11:27 · 1062 阅读 · 0 评论 -
【Python】大数据挖掘课程作业3——使用朴素贝叶斯分类对B站评论进行分析
【Python】使用朴素贝叶斯分类对B站评论进行分析参考资料:《Python数据科学手册》数据来源:B站观察者网、观视频工作室、央视新闻、小央视频、环球网、环球时报2020年1月到5月所有与新冠疫情相关的投稿视频的弹幕与评论,爬取视频共计13902个,爬取弹幕共计825869条,爬取评论共计16901540条。算法的选择朴素贝叶斯分类是一种常用的有监督机器学习算法,我使用的是scikit-learn提供的朴素贝叶斯分类模型,sklearn提供两种朴素贝叶斯分类,一种是高斯朴素贝叶斯,一种是多项式朴原创 2020-06-21 23:46:16 · 1711 阅读 · 1 评论 -
【Python】大数据挖掘课程作业2——使用SQLAlchemy将爬虫获得的数据储存进数据库
【Python】大数据挖掘课程作业2——使用SQLAlchemy将爬虫获得的数据储存进数据库上一篇博客中,我们详解了从B站爬取相关数据的流程,现在,我们要将数据储存进数据库中。本文写作于2020-06,B站正处于AV向BV过渡的阶段,日后B站后台的数据库设计可能发生变化导致本文的内容不在适用,请读者注意。数据表的定义根据我的课程作业的需要,将定义四个数据表,分别表示UP主、视频、评论、弹幕。定义表单的代码from sqlalchemy import create_engine, MetaData原创 2020-06-21 22:16:25 · 447 阅读 · 0 评论 -
【Python】大数据挖掘课程作业1——使用爬虫爬取B站评论、弹幕与UP主的投稿视频列表
【Python】大数据挖掘课程作业1——使用爬虫爬取B站评论、弹幕与UP主的投稿视频列表数据挖掘部分的基本目标是:对于指定的UP主,能够获取其投稿视频列表;对于指定的视频,能够获取其视频标签、评论(包括评论下的回复)、弹幕。文章默认读者对网络爬虫有一定的基础知识;文章写作时(2020-06),B站正处于AV号像BV号过度的时期,部分API可能会在今后发生重大变化,请今后的读者注意。获取指定UP主的投稿视频列表首先,我们知道每一个B站帐号都有一个对应的数字UID,然后,通过在浏览器中访问用户的个人主原创 2020-06-21 17:53:40 · 6266 阅读 · 0 评论 -
【Python】《Python网络爬虫权威指南》第三章任务:验证六度分隔理论
【Python】《Python网络爬虫权威指南》第三章任务:验证六度分隔理论任务描述是否能够通过一个wiki页面上的站内链接,经过最多六次跳转,到达另一个wiki页面,对于本书,我们的任务是从https://en.wikipedia.org/wiki/Eric_Idle跳转到https://en.wikipedia.org/wiki/Kevin_Bacon。完成思路书上都写了,不讲了过程...原创 2020-04-27 04:15:16 · 448 阅读 · 2 评论 -
【Python】使用Python根据BV号爬取对应B站视频下的所有评论(包括评论下的回复)
【Pyton】使用Python根据BV号爬取对应B站视频下的所有评论(包括评论下的回复)本文写于2020-4-27,当你阅读到本文的时候如果因为下列原因导致本文代码无法正常工作,本人概不负责。B站的页面和API接口的变动B站为页面和API加入了反爬虫机制,或者对请求首部有了新的要求Python版本的变动和标准库的调整BeautifulSoup4的变动使用到的库【第三方库】:Be...原创 2020-04-27 03:52:02 · 5184 阅读 · 5 评论 -
【Python】使用Python在win10下将PDF转化为图片
需要安装的Python模块pip install wandpip install pypdf2需要额外安装的软件ImageMagick:地址GhostScript:地址注意下载与自己的Python解释器和系统对应的版本(32位或者64位)示例代码import iofrom wand.image import Imagefrom wand.color import Colo...原创 2019-04-10 22:06:28 · 1600 阅读 · 0 评论