- 博客(179)
- 收藏
- 关注
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 非常实用的 Python 库,推一次火一次
Python 是一个很棒的语言。它是世界上发展最快的编程语言之一。它一次又一次地证明了在开发人员职位中和跨行业的数据科学职位中的实用性。整个 Python 及其库的生态系统使它成为全世界用户(初学者和高级用户)的合适选择。它的成功和流行的原因之一是它强大的第三方库的集合,这些库使它可以保持活力和高效。在本文中,我们会研究一些用于数据科学任务的 Python 库,而不是常见的比如 panda、scikit-learn 和 matplotlib 等的库。尽管像 panda 和 scikit-learn ..
2021-12-27 13:23:37
3338
3
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 备战金三银四,耗时两个月整理的Python全套资料,学完实现月薪30K以上,纯分享
前言随着计算机技术的发展,Python近两年来逐渐超过了Java和C成为了新的语言霸主,而计算机行业在这两年更是成为了炙手可热的行业,一大批人或转行或选专业都投身到了计算机领域当中,现在想学的你,得抓紧了,库库在这里将Python全套学习资料送上!在宠粉送资料这块,库库敢说是数一数二的良心了,这次资料的收集与整理耗时两个月,说是全网最全也不为过,不管你是想学什么内容,只要是Python,就一定有你需要的。吃透这套资料,一定能帮你实现从入门到精通,话不多说,一起来看看吧!目录(视频+案例+...
2021-12-23 17:43:38
2574
4
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 快圣诞节了,用Python 送你一棵圣诞树
马上就是圣诞节了,先提前祝大家圣诞快乐!:christmas_tree::christmas_tree::christmas_tree:有人要说了,圣诞节是耶稣诞生的日子,我又不信基督教,有啥好庆祝的。这你就有所不知了,Python 的诞生也跟圣诞节有关:1989 年,那是一个冬天,那年的第一场雪来得比以往时候来得更早一些,有一位程序员,在圣诞期间的阿姆斯特丹感觉特别闲,就决定开发一个新的脚本语言。他一边开发一边刷剧,于是新语言的命名也来自于他热衷的豆瓣9分神剧《Monty Python’s ...
2021-12-17 15:51:18
20226
7
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 python绘图中的四个绘图技巧
在可视化数据时,通常需要在单个图形中绘制多个图形。 例如,如果您想从不同的角度可视化相同的变量(例如,数字变量的并排直方图和箱线图),则多个图形很有用。 在这篇文章中,我分享了绘制多个图形的 4 个简单但实用的技巧。数据集:package:让我们导入包并更新图表的默认设置,为图表添加一点个人风格。 我们将在提示上使用 Seaborn 的内置数据集:import seaborn as sns # v0.11.2 import matplotlib.pyplot as plt # v3.4
2021-12-15 15:11:12
6493
5
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 python自带性能强悍的标准库 itertools
可迭代对象就像密闭容器里的水,有货倒不出itertools是python内置的标准模块,提供了很多简洁又高效的专用功能,使用得当能够极大的简化代码行数,同时所有方法都是实现了生成器函数,这就意味着极大的节省内存。itertools提供的功能主要分为三大块,以最新版本的3.10为例:对可迭代对象无限迭代,无限输出 对可迭代对象有限迭代 对可迭代对象排列组合方法如下:导入包>>> from iteratortools import *无限迭代iter..
2021-12-13 16:35:06
3776
1
原创 发现一款好用到爆的数据库工具,被惊艳到了
最近看到一款数据库客户端工具,DataGrip,是大名鼎鼎的JetBrains公司出品的,就是那个出品Intellij IDEA的公司DataGrip是一款数据库管理客户端工具,方便连接到数据库服务器,执行sql、创建表、创建索引以及导出数据等。之前试用的客户端工具是dbvisualizer,但是在试用了DataGrip以后,我就决定抛弃dbvisualizer。我相信,当你第一眼看到DataGrip以后,会有一种惊艳的感觉,就好比你第一眼看到一个姑娘,就是那么一瞥,你对自己说,就是她了!废话不
2022-01-24 19:22:25
978
原创 一日一技:用Python轻松完成视频转gif动图
不知道大家是不是有过类似的经历,在看视频的时候觉得某段非常有意思想弄成动图,但是无从下手!或可以在网上找一些在线工具但是多多少少需要付费或者带有水印之类的,那么!?对,今天我们就来学习用Python搞定这一需求吧!动图效果目录: 1. 准备工作 2. 初探 3. 截取区域转动图 4. 固定区域转动图 5. 添加自定义文本 1. 准备工作需要准备用于生成gif的视频文件,我这里用的是上次《用Python制作一个B站视频下载...
2022-01-22 22:11:50
829
原创 Python数据分析师使用低代码Streamlit实现Web数据可视化方法
Python数据分析师工作拓展助手,在不用掌握复杂的HTML、JavaScript、CSS等前端技术的情况下,也能快速做出来一个炫酷的Web APP,把数据分析结果可视化呈现出来!本文推荐Python界新秀,高速发展的开源Web框架Streamlit,与Python界较优秀交互式可视化工具Plotly,组合搭建的"Web数据可视化低代码纯python技术解决方案"。1. 方案概述Web数据可视化低代码纯python技术解决方案,是采用Streamlit Web框架,其可视化工具默认使用Bokeh,可
2022-01-22 17:06:07
1744
原创 Python爬虫实战,requests模块,Python实现告诉你女神节送什么礼物
前言利用Python实现告诉你女神节送什么礼物。废话不多说。让我们愉快地开始吧~开发工具Python 版本:3.6.4相关模块:requests模块;熊猫模块qrcode模块;太平船务模块;以及一些Python自带的模块。环境搭建安装Python并添加到环境变量,pip安装需要的相关模块即可。过女神节应该什么礼物好呢,爬取礼物说App,来告诉你选什么礼物好应用分析爬取礼物TOP100榜单的信息通过手机抓包软件「Charles」查找请求信息
2022-01-21 22:09:37
330
1
原创 Python数据分析师使用低代码Streamlit实现Web数据可视化方法
谁能帮你不用懂得复杂的HTML、JavaScript、CSS等前端技术就能快速做出来一个炫酷的Web APP,把数据分析结果可视化呈现出来?本文推荐Python界新秀,高速发展的开源Web框架Streamlit,以及Python界较优秀交互式可视化工具Plotly。1. 流光入门1.1. 什么是流光?让python代码快速生成web app是很多AI算法工程师们的需求,2019年新兴的这个streamlit项目能帮你解决类似的问题。Python应用程序框架Streamlit,是一个开源的Pyth
2022-01-21 22:08:18
497
原创 使用Python分析网易云歌曲评论信息,通过可视化处理我发现了这些有趣的规律
前言前几天有个学生娃子找我帮忙做点可视化的作业,作业内容包括采集网易云音乐热评评论内容,数据量1W作业足够,然后就是做点数据分析相关的工作即可。这份大作业里边有网络爬虫,有数据分析和数据处理,还有可视化,算是一个大实验了,还需要上交实验报告。这里拿出来部分知识点,给大家分享。学生娃的作业,参考了这个文章:网易云音乐评论爬取。数据来源首先是数据来源,来自网易云音乐热评,代码这里就不放出来了,调用了API获取的,抓取难度就少了许多,这里不在赘述了。分析过程时间处理下面的代..
2022-01-20 22:18:46
2442
1
原创 Python实现读取Word表格计算汇总写入Excel
快过年了,又到了公司年底评级的时候了。今年的评级和往常一下,每个人都要填写公司的民主评议表,给各个同事进行评价打分,然后部门收集起来根据收集上来的评价表进行汇总统计。想想要收集几十号人的评价表,并根据每个人的评价表又要填到Excel中进行汇总计算统计给出每个人的评价,就头大。虽然不是个什么难事,但是是个无脑的细致活。几十个人的评价也得要花大半天的时间来弄,而且搞多了还容易搞错。如是就想起干脆用Python写个小程序自动来处理这些脏活累活,评级年年都要评,每年都可以用。要做的事情就是读放到某个文件夹中的w
2022-01-20 22:13:35
360
原创 Python函数与lambda 表达式(匿名函数)
Python函数一、函数的作用 函数是组织好的,可重复使用的,用来实现单一或相关联功能的代码段 函数能提高应用的模块性和代码的重复利用率 python 内置函数:内置函数 — Python 3.8.12 文档 二、函数的定义def function_name([parameter_list]): [''' comments '''] [function_body] def:函数定义关键词 function...
2022-01-19 22:24:34
336
原创 Python实战案例,CV2模块,Python实现抖音字符视频
前言利用Python实现抖音字符视频。废话不多说。让我们愉快地开始吧~开发工具Python版本:3.6.4相关模块:cv2模块;PIL模块;numpy模块;以及一些Python自带的模块。环境搭建安装Python并添加到环境变量,pip安装需要的相关模块即可。主要用到的库有cv2,pillow库。原视频如下,直接抖音下载的。视频转图片运行下面这个命令,即可成功安装cv2这个库。pip3 install opencv-python或者下个.
2022-01-19 22:18:12
278
原创 超实用的三十个 Python 案例
Python是目前最流行的语言之一,它在数据科学、机器学习、web开发、脚本编写、自动化方面被许多人广泛使用。它的简单和易用性造就了它如此流行的原因。在本文中,我们将会介绍 30 个简短的代码片段,你可以在 30 秒或更短的时间里理解和学习这些代码片段。1.检查重复元素下面的方法可以检查给定列表中是否有重复的元素。它使用了 set() 属性,该属性将会从列表中删除重复的元素。defall_unique(lst):returnlen(lst)==len(set(l...
2022-01-18 16:56:04
5926
1
原创 Python 为什么不设计 do-while 循环结构?
在某些编程语言中,例如 C/C++、C#、PHP、Java、JavaScript 等等,do-while 是一种基本的循环结构。它的核心语义是:先执行一遍循环体代码,然后执行一遍条件语句,若条件语句判断为真,则继续执行循环体代码,并再次执行条件语句;直到条件语句判断为假,则跳出循环结构。流程图如下(Java 示例):// 打印小于 20 的数字public class Test { public static void main(String[] args){ ...
2022-01-18 16:55:09
172
原创 Python爬虫实战,pyecharts模块,Python实现中国地铁数据可视化
前言利用Python实现中国地铁数据可视化。废话不多说。让我们愉快地开始吧~开发工具Python 版本:3.6.4相关模块:requests模块;wordcloud模块;熊猫模块;numpy模块;杰巴模块;pyecharts模块;matplotlib模块;以及一些Python自带的模块。环境搭建安装Python并添加到环境变量,pip安装需要的相关模块即可。本次通过对地铁线路数据的获取,对城市分布情况数据进行可视化分析。分析获取地铁信息
2022-01-18 16:53:59
5094
6
原创 用 Python 机器学习预测黄金价格
读取黄金 ETF 数据本文使用机器学习方法来预测最重要的贵金属之一黄金的价格。我们将创建一个线性回归模型,该模型从过去的黄金 ETF (GLD) 价格中获取信息,并返回对第二天黄金 ETF 价格的预测。GLD是直接投资实物黄金的最大ETF。(扫描本文最下方二维码获取全部完整源码和Jupyter Notebook 文件打包下载。)首先要做的是:导入所有必要库。#LinearRegression是一个用于线性回归的机器学习库fromsklearn.linear_modelimpo...
2022-01-18 16:53:07
1533
2
原创 六个实例,八段代码,详解Python中的for循环
Python 支持for循环,它的语法与其他语言(如JavaScript 或Java)稍有不同。下面的代码块演示如何在Python 中使用循环来遍历列表中的元素:上述的代码段是将三个字母分行打印的。你可以通过在print语句的后面添加逗号","将输出限制在同一行显示(如果指定打印的很多字符,则会"换行"),代码如下所示:当你希望通过一行而不是多行显示文本中的内容时,可以使用上述形式的代码。Python 还提供了内置函数reversed(),它可以反转循环的方向,例如:注意,只有当..
2022-01-18 16:52:17
1034
原创 抽丝剥茧,深入剖析 Python 如何实现变量交换
Python 程序员肯定知道 a,b = b,a,这句话用来交换两个变量。相较于其它语言需要引入一个 temp 来临时存储变量的做法,Python 的这种写法无疑非常优雅。简洁优雅的 C 写法:inta=1;intb=2;inttemp;temp=a;a=b;b=temp;简洁优雅的 Python 写法:a,b=1,2a,bb=b,a虽然语法非常方便,但我们始终不曾想过:它是怎么运作的?背后支撑它的机制是什么?下面...
2022-01-17 23:04:03
193
原创 Selenium2+python自动化65-js定位几种方法总结
本篇总结了几种js常用的定位元素方法,并用js点击按钮,对input输入框输入文本一、以下总结了5种js定位的方法除了id是定位到的是单个element元素对象,其它的都是elements返回的是list对象1.通过id获取document.getElementById(“id”)2.通过name获取document.getElementsByName(“Name”)返回的是list3.通过标签名选取元素document.getElementsByTagName(“tag
2022-01-17 23:03:19
628
原创 Python pickle 中的 POP 指令码
事情起源于笔者 2019 年的一篇文章:从零开始python反序列化攻击:pickle原理解析 & 不用reduce的RCE姿势前言 不经意间就起了这么长一个题目。昨晚用了4h左右的时间看皮ckle源码(主要是_Unpickler部分),发掘出了几种新的漏洞利用方式,目前网上暂未见资料,因此我们决定写一篇文章分享一下。本文详细介绍了pyckle.l...正在上传…重新上传取消知乎专栏阮行止上海洛谷网络科技有限公司 讲师文中提到,注入恶意对象引发 RCE 之后,常常由于返..
2022-01-15 22:56:02
770
原创 最强最炫的Python数据可视化神器,没有之一
今天给大家分享一篇可视化干货,介绍的是功能强大的开源Python 绘图库Plotly,教你如何用超简单的(甚至只要一行!)代码,绘制出更棒的图表。“沉没成本谬误”是人们常犯的几种认知偏差之一:由于在某件事上已经投入了(“沉没”)太多的成本,即使这件事已经注定要失败,人们倾向于继续投入更多的时间和金钱。比如,在不好的职位上待了比正常更长的时间,在一个明显不可能的项目上埋头苦干,以及(你猜的没错)继续用一个陈旧、枯燥的绘图库——matplotlib——即使已经有了更高效、更美观、可互动性更好的...
2022-01-15 13:39:30
325
原创 空间数据可视化神器,Pydeck
今天给大家介绍一款超赞的空间(地理)数据可视化神器:Pydeck。Pydeck库通过deck.gl对数据进行空间可视化渲染,对3D的可视化支持非常强。使用文档:https://pydeck.gl/index.htmlGitHub:https://github.com/visgl/deck.gl/tree/master/bindings/pydeck通过下面的命令进行安装。# 安装pip install pydeck -i https://mirror
2022-01-14 14:47:09
402
原创 人人都能学会的 Python 多线程指南
在Python中,多线程最常见的一个场景就是爬虫,例如这样一个需求,有多个结构一样的页面需要爬取,例如下方的URL(豆瓣阿凡达影评,以10个为例)url_list=['https://movie.douban.com/subject/1652587/reviews?sort=time&start=0','https://movie.douban.com/subject/1652587/reviews?sort=time&start=20',...
2022-01-14 14:30:35
176
原创 Linux中Python程序CPU占用高排查
Linux中Python程序CPU占用高排查,Linux中Python程序CPU占用高排查,Linux中Python程序CPU占用高排查kafka-python==2.0.2和 gevent 新版本 生产机器中发现CPU占用极高,应该是有bug:https://github.com/dpkp/kafka-python/issues/2168 。目前推测是gevent patch后Kafka Consumer 和 heartbeat 占用了大量的 CPU 。机器环境Debian 10 .
2022-01-13 21:13:01
2196
原创 懒人必备神器 ,一个创意十足的 Python 命令行工具
当听到某些人说 xx 库非常好用的时候,我们总是忍不住想要去亲自试试。有一些库,之所以好用,是对一些库做了更高级的封闭,你装了这个库,就会附带装了 n 多依赖库,就前一篇文章介绍的 streamlit 来说,依赖包就达 90 几个之多?比百度全家桶,还 tm 的全家桶啊…也正是因为害怕会污染我的全局 Python 环境,我通常在试用新包的时候,都会使用 venv 创建虚拟环境,再去安装,完事之后,再清理虚拟环境即可。有没有发现,整个流程,其实还是挺麻烦的。刚好昨天晚上,Github 上.
2022-01-13 21:11:33
158
原创 Python多环境管理神器(pipenv)
pipenv参考官网:Pipenv: Python Dev Workflow for Humans — pipenv 2022.1.9.dev0 documentationpipenv 是一款比较新的包管理工具,其借鉴了 javascript 的 npm 和 PHP 的 composer 等理念,通过一个依赖描述文件 Pipfile 来安装和管理依赖,以达到协同开发的目的。如果你熟悉 npm 或者 composer 的话,那 pipenv 正合你胃口。pipenv 其实整合了 pip 和 virt.
2022-01-13 21:10:34
1172
原创 Python中的图形绘制-简单动画
Matplotlib 是一个非常广泛的库,它也支持图形动画。动画工具以 matplotlib.animation 基类为中心,它提供了一个框架,围绕该框架构建动画功能。主要接口有TimedAnimation和FuncAnimation,两者中FuncAnimation是最方便使用的。1画螺旋曲线代码<span style="color:#333333"><span style="color:#444444"><span style="background-col...
2022-01-13 21:08:00
401
原创 使用 Python 自定义 APISIX 插件
除了 APISIX 官方内置的插件之外,我们也可以根据自己的需求去自定义插件,要自定义插件需要使用到 APISIX 提供的 Runner,目前已经支持 Java、Go 和 Python 语言的 Runner,这个 Runner 相当于是 APISIX 和自定义插件之间的桥梁,比如apache-apisix-python-runner这个项目通过 Python Runner 可以把 Python 直接应用到 APISIX 的插件开发中,整体架构如下所示:其中的Plugin Runner就是各语...
2022-01-13 21:03:54
1281
原创 省时省力,这大概是用Python写GUI最快的方式了
GUI 实例PySimpleGUI 在GitHub上的地址是:<span style="color:#444444"><span style="background-color:#f6f6f6"><span style="color:#333333"><strong>https</strong></span>:<span style="color:#888888">//github.com/PySimpleGUI/
2022-01-13 21:02:56
792
原创 达摩院公布:2022十大科技趋势发布,我一个都看不懂
一个世纪以来,数字科技的演进推动了人类的技术进步与产业发展。我们当前正在经历数字科技最快发展的阶段,数字化、网络化、智能化让数字世界与物理世界的融合与协同更加紧密。近日,阿里达摩院发布了 2022 十大科技趋势,其中 AI for Science 占据了卷首位置。实验科学和理论科学是数百年来科学界的两大基础范式,而人工智能正在催生新的科研范式。机器学习能够处理多维、多模态的海量数据,解决复杂场景下的科学难题,带领科学探索抵达过去无法触及的新领域。人工智能不仅将加速科研流程,还将帮助发现新的科学规律。
2022-01-12 13:40:55
172
原创 手把手教你使用opencv-python库制作屏幕录制工具(附源码)
目录 目录 应用平台 屏幕录制部分 计算视频最优fps及使用numpy计算中间帧数组 使用pynput监听键盘按键 如何保存MP4格式视频 源码 总结 最近有在使用屏幕录制软件录制桌面,在用的过程中突发奇想,使用python能不能做屏幕录制工具,也锻炼下自己的动手能力。接下准备写使用python如何做屏幕录制工具的系列文章: 录制屏幕制作视频 录制音频 合成视频,音频 基于pyqt5制作可
2022-01-12 13:35:03
852
原创 python多环境管理一(venv与virtualenv)
一、背景我们经常会遇见这样的场景:1、各个项目使用的python版本不相同由于Python的解释器版本众多,各版本之间差异非常大。特别是python2和python3,互不兼容。有些项目可能用的python2.7,有些项目可能用的是python3.6,有些则使用的3.8等,但是它们却需要运行在同一个服务器环境中。(docker除外,docker容器可以隔离不同的项目环境。)2、系统依赖自带的解释器系统的一些服务组件一般也会依赖Python环境。不同的Linux发行版自带的Python
2022-01-11 15:24:27
1441
原创 python驱动SAP完成数据导出
写在前面 我们使用Python驱动SAP时,经常会需要导出一些SAP报表数据至本地Excel文件。这个看似简单的问题背后,其实暗藏玄机,今天小爬就带各位同学好好捋捋。以事务代码FB03(凭证清单)为例,进入清单界面后,SAP会为我们加载默认布局,布局决定了我们报表中显示哪些字段,以什么样式来显示,最后我们导出的表格样式也大抵如此。问题一: 倘若默认布局不是我们当前想要的(每个用户的SAP界面针对特定事务代码,默认布局不尽相同,如果我们导出数据前不统一布局,后续导出的excel文件模板就没
2022-01-11 15:03:04
3528
原创 Python 超轻量级日志解决方案
日志,几乎每个程序都需要有的功能,对于很多比较大型的,多人合作的程序,使用专业的日志解决方案,比如 fluentd,是个不错的选择。fluentd 就是重了点,你需要搭建 fluentd 服务,然后不同的应用再通过相应的方式将日志信息传导 fluentd 服务中,当然重的好处是强大,它可以兼容多个语言,只有你的 client 实现好就行,还可以在日志传输管道中加入各种 hook,比如某个带关键字的日志要执行某种操作等等。我的程序比较轻,之前都是运维同学搭建好了 fluentd+ES 一套日志管理..
2022-01-11 14:57:02
268
原创 30 分钟学会 SVD 矩阵分解(Python代码)
SVD在机器学习中是非常重要的,利用神奇的矩阵变换可以实现很多功能,比如图像压缩、降维等等。本篇介绍SVD的原理、应用、以及在Python代码中的使用。SVD(Singular Value Decomposition)奇异值分解分解是机器学习中最重要的矩阵分解方法。它能够将一个任意形状的矩阵分解成一个正交矩阵和一个对角矩阵以及另一个正交矩阵的乘积。SVD分解具有非常深刻的几何含义。矩阵实际上对应着一种线性变换,一个矩阵作用到一个向量上,会得到一个新的向量。任何一个矩阵的操作效果可以分解成一次旋.
2022-01-11 14:55:40
5466
原创 一日一技:极其简单,用Python写前端
今天要介绍这个神器,可以说是 pywebio 的Plus +Pro +Max版,原谅我的词穷,但它真的非常的强~正常在学习一个新框架之前, 肯定要先调研下这个框架究竟能做些什么事吧?但对于 streamlit 来说,请你相信我,这是一个你可以无脑去学习的框架,我之所以这么说,是因为我相信终有一天,你一定能用得上它。Streamlit 是一个用于机器学习、数据可视化的 Python 框架,它能几行代码就构建出一个精美的在线 app 应用。它能做什么,取决于你想干什么...
2022-01-11 14:51:08
12907
原创 利用python绘制分析路易斯安那州巴吞鲁日市的人口密度格局
前言数据来源于王法辉教授的GIS和数量方法,以后有空,我会利用python来实现里面的案例,这里向王法辉教授致敬。绘制普查人口密度格局使用属性查询提取区边界import numpy as npimport pandas as pdimport geopandas as gpdimport matplotlib.pyplot as pltimport arcpyfrom arcpy import envplt.style.use('ggplot')#使用ggplot样式%mat
2022-01-11 14:49:48
433
1
原创 【Python自动化Excel】pandas处理Excel数据的基本流程
这里所说的pandas并不是大熊猫,而是Python的第三方库。这个库能干嘛呢?它在Python数据分析领域可是无人不知、无人不晓的。可以说是Python世界中的Excel。pandas库处理数据相比于Excel,有一个极大的优点:数据和处理逻辑是分离的。基于这一点,便可以实现Excel数据处理的自动化,对于重复繁琐的数据分析,pandas一次编写脚本便“终身受益”。反观Excel,遇到重复的任务还得一遍一遍地输入公式、拖动填充柄。pandas处理Excel数据的基本流程...
2022-01-11 14:48:27
1696
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人