我也在学Python,下面是小笨聪的一些案例:
下面为简单介绍:
1.爬取豆瓣上《流浪地球》的影评,并数据分析
(当然啦,还可以爬取豆瓣上任意一部电影的影评并分析,比如复联)
爬取豆瓣500条数据(豆瓣只开放这么多短评),先根据词云图看看观影群众都说了啥: />
可以看到大家对中国科幻片还是比较关心的,其中还提到了刘慈欣,表现出对他的作品的电影改编的期待。
利用 SnownNLP 进行情感分析,0.5以上表示比较赞同和推荐,无论怎么讲,流浪地球至于中国电影绝对是一个里程碑了。 /> />
另外也简单对影评人所在地进行了统计分析,可以看到:一、虽然仅有500条数据,但是观影人的范围之广说明流浪地球还是很叫卖的,二、北上广深等一线和新一线城市所在比例达70%左右,这侧面说明电影院分布与经济发展密不可分。 />详细文章分析及代码可点击
2.送给宅男的福利,爬取图虫网美女图片
其实可以爬取 图虫创意 网页下的任意标签的所有图片,并且无水印。喜欢摄影的伙伴大概知道图虫网,一个优秀摄影师与优质照片的聚集地。 />
运行程序前,输入目标标签,然后即可一键下载该标签无水印图片。 />
随便看看妹子的颜值~ /> />
提醒一下,图片是有版权的,不要随意爬取和使用,否则后果自己承担哦。详细文章分析及代码可点击
3.爬取拉勾网10万余条职位信息,分析互联网岗位现状
小笨聪爬取的数据涵盖我国41个主要城市(涵盖除去港澳台的全部省会城市)的21个不同职位,共计10万余条初始数据(所有数据时间为2018.12.24前后)。
先看一下编程语言/职位统计。Python需求量超越了Java跃居老大,这和2018年12月TIOBE索引排名相符,Python发展这么迅速,和时下热门的人工智能、大数据不无关系。
web前端、全栈和测试工程师的需求量也是比较大的。另外,Go语言的发展速度有点像Python,它的语法比Python更易懂。至于区块链这一行业,它的曲线应该和比特币行情相配合吧。(说明:拉勾网的C、C++作为单独关键字,但在职位名称上大量标为"C/C++”,使得C++和C的数据量相互影响,故在此不做考虑) />
再看一下各城市职位数量统计。从图中可以看到,北上深杭广占据前五,尤其是北京的职位数量,远远超过上沪深。杭州这个新一线城市超过了广州,大概得益于阿里系和其良好的互联网创业氛围。
另外,大多数互联网职位分布于长三角、珠三角和北京,或者说分布在一二线城市,因此,大家找互联网工作当然是首选一二线城市啦。 />
看一下最关心的薪资吧。图中北上广深杭薪资的中位数在20k左右,其他城市在12k左右,可见互联网行业的整体薪资还是不错的。那些上边缘和离散的点的薪资看了都心动,其中那几个100k左右的点不是管理层就是大神了吧,也可能是HR瞎填的。。。
另外,还可以看看对职位、公司投融资、工作经验进行分析。 /> />详细文章分析及代码可点击
4.批量下载无水印的抖音视频
小笨聪以抖音网红 猪小屁为例。平时刷抖音时,见到好玩有趣的视频想下载下来,发现带有水印;想下载的数量多时,手动下载又很费时间和精力。现在不用发愁啦,因为我帮你解决啦。
先看看没去水印前:猪小屁1https://www.zhihu.com/video/1132319704102174720
我们按照 />
所有视频下载完毕: />
随便选一个视频检验一下:猪小屁2https://www.zhihu.com/video/1132319908142428160详细文章分析及代码可点击
5.一键爬取 网易数读 所有精美的数据可视化图片
今天(2019.7.9)微博有个网易数读制图的热搜:中国人死亡原因排名,以几张图片形式呈现: />
在大家都关注死亡原因时,我就不一样了,我关注的是这可视化咋这么好看?!(问过他们了,是用AI制作的)
其实,我对网易数读并不陌生,因为我早就对其下手啦: /> />
我们打开一张图片欣赏一下精美的制图: />想好给娃起啥名字了嘛,别怪我没提醒你呀详细文章分析及代码可点击
6.纵览中国大学学术排行榜10年变化
先从 著名大学排行榜 见齐的开源代码可视化成动态数据图。 />
适当将可视化的开源代码修改,就得到了下面的酷炫的动态图表:中国顶尖大学学术排行榜https://www.zhihu.com/video/1132320258782101504
世界顶尖大学学术排行榜https://www.zhihu.com/video/1132320294018441216详细文章分析及代码可点击
7.绘制上证指数走势图
小笨聪炒股就免不了关注大盘走势,于是就利用 tushare 工具包简单绘制了一下上证指数。
Tushare是米哥团队开发的 python 财经数据接口包。主要实现对股票等金融数据从数据采集、清洗加工 到 数据存储的过程,能够为金融分析人员提供快速、整洁、和多样的便于分析的数据。 /> />详细文章分析及代码可点击
8.制作一个简易音乐播放器
最近网易云音乐闹出不少事情,甚至被各大应用商店下架。它的某些做法小笨聪也着实不敢苟同,但还是希望它整改后能够发展更好,当然不只是在故事式热评方面,还包括更为重要的版权问题。
由此,小笨聪也萌发了制作一个简易音乐播放器的想法。 />
原理实现主要用到了 PyQt5,熟悉 PyQt5 的伙伴阅读下面的程序应该不难看懂。首先定义布局界面的各个按钮,然后就是功能实现的编写。
为了方便大家直接使用,小笨聪最后利用 Python 的 pyinstaller 包将源码打包成 exe 文件,大家无需任何 Python 编译环境就可以直接在电脑上使用!Python制作音乐播放器https://www.zhihu.com/video/1132320726216331264详细文章分析及代码可点击
就先写这么多吧,后续更新。
喜欢就点赞、收藏、关注走一波吧,哈哈哈哈。
最后附上我的微信公众号"学编程的金融客”二维码,欢迎大家关注骚扰哦