python自动化
文章平均质量分 93
python自动化
_Rye_
左手代码右手诗
一行代码一行诗
展开
-
结束语
这么说可能有点抽象,结合一个运营的案例,来讲一讲每个阶段应该具体怎么去做。在运营方法论中,有一个“漏斗模型”。假如我现在要用漏斗模型来分析一个游戏玩家的留存率,那怎么将这个过程进行自动化呢?我们先来分析一下。在这个过程中,我需要采用漏斗模型来依次分析用户点击广告、用户下载游戏、用户登陆游戏、7 日留存和付费的情况。这就要用到咱们在课程中学过的利用 Python 来进行数据提取、数据处理和图形展示。现在,我们来看怎么将整个过程自动化。原创 2024-05-28 14:59:17 · 824 阅读 · 0 评论 -
30|怎么快速把任意文件格式转成PDF,并批量加水印?
在办公场景中,我们打交道最多的软件,要数 Office 的办公套件了,功能丰富且强大,使用方便。不过你可能也会发现,我们经常用于文字编辑的 Word 软件,它使用的 docx 扩展名的文件无论是在不同操作系统平台、不同的设备上,还是在内容安全性和格式的兼容性上,都没有 PDF 文件强大。Excel 和 PowerPoint 中的文件也是如此。原创 2024-05-28 14:20:36 · 874 阅读 · 0 评论 -
29|网络和邮件库:定时收发邮件,减少手动操作
将这四个部分依次作为 send() 函数的参数后,就可以将邮件发送到 SMTP 服务器了。这里我有一个小的建议,会建议你先把邮件发给自己,如果出现发送失败,或发送内容与自己期望不符时,更方便对内容进行调整。把发送命令和发送成功后的截图贴在下面,供你参考。原创 2024-05-28 10:51:52 · 924 阅读 · 0 评论 -
28|Celery库:让计算机定时执行任务,解放人力
上一讲教你怎么把一个文件夹自动打包成压缩包,学会之后,你肯定会想到可以利用这个功能,把每日工作报告的文件夹制作成压缩包,作为邮件的附件发送给领导。那像是每日发送邮件、每周定时提醒、每月填写报表等等,类似这些按照某一周期完成的重复性任务,你肯定希望也能用 Python 来自动化完成它们,再也不用设置闹钟,提醒自己手动发送邮件和手动提交周报了。那么今天我就教你如何使用 Windows 任务计划和 Python 的 Celery 库实现周期任务的自动执行。原创 2024-05-28 09:50:09 · 1016 阅读 · 0 评论 -
27|zipfile压缩库:如何给数据压缩&加密备份?
zipfile 库是 Python 的标准库,所以不需要安装软件包,为了让这个完整脚本都不需要安装第三方软件包,我在实现文件遍历的时候同样采用 os 库代替 pathlib 库。除了不需要安装之外,zipfile 库在使用上也比较友好,它创建和写入 zip 文件的方式就是模仿普通文件的操作流程,使用 with 关键字打开 zip 文件,并使用 write() 函数把要备份的文件写入 zip 文件。原创 2024-05-27 16:07:47 · 880 阅读 · 0 评论 -
26|快速提取图片中的色块,模仿一张大师的照片
当你进行工作汇报使用各种图表时,除了要考虑精确的数据、正确的结论外,正确的配色不但能让用户更容易 get 到你演示产品的商业用途,还能为你的数据增光添彩。而不合理的配色,不但会降低用户对你演示产品的兴趣,还容易产生误解。因此你。那么你要不要找专门的美工或自己分析那些商业模版用了什么配色呢?其实这两点都不需要,有很多设计高手和名画大师已经为我们提供了太多经典的作品了,我们只需要使用相似的配色,将这些配色应用到你的演示图片和文稿中,就能实现非常好的配色方案了。原创 2024-05-27 15:06:08 · 2089 阅读 · 0 评论 -
25|图表库:想要生成动态图表,用Echarts就够了
所以我们参考静态图表的学习方法,我来先带你从安装开始学习 pyecharts。原创 2024-05-27 11:47:54 · 1473 阅读 · 0 评论 -
24|条形、饼状、柱状图最适合用在什么场景下?
在截图中,基于花的四个属性,采用了不同的维度进行绘图。同时你会发现,在某一维度下,其中一种颜色和其他颜色有明显的分界,非常容易把其中一种和另外两种花区分开。通过观察散点图,你会得到这样一个结论,使用合理的图形,能够帮你更好地解释某个晦涩难懂的概念,也能更容易从数据中发现规律。那既然不同的图表能带来不同的价值,接下来,我就来为你讲解一下,如何使用 seaborn 生成其他类型的图表,比如可以通过 histplot() 函数生成柱状图、heatmmap() 生成热力图、kdeplot() 生成核密度图等等。原创 2024-05-27 11:05:00 · 874 阅读 · 0 评论 -
23|怎么用数据透视表更直观地展示汇报成果?
创建好默认的数据透视表之后,你会发现它的内容是空的,这时只需要把“报表的字段”原创 2024-05-27 09:20:30 · 864 阅读 · 0 评论 -
22|SQLite文本数据库:如何进行数据管理(下)?
首先,类和函数第一点区别就在于它们的对代码的封装方式上不同。编写自定义函数,它的实现思路是通过函数去描述程序运行的过程,比如:代码的下一步需要做什么、需要什么参数。而编写基于类的程序,它的实现思路更多要关注相同的一类数据,都有哪些属性和相同的动作。比如在代码中,我把数据库作为了一个类,因为类具有数据库名称这一属性,也具有查询和写入数据两个动作。而类在语法层面上,对属性和动作的封装要比函数更加完善。原创 2024-05-25 18:01:22 · 640 阅读 · 0 评论 -
21|SQLite文本数据库:如何进行数据管理(上)?
你在办公中,一定遇到过需要数据持久化的问题。数据持久化,简单来说,就是当你关闭程序的时候,数据依然可以完整地保存在电脑中。你可能会想到用文本文件、Excel 来存储这些数据,文本呢,没有办法按列读写数据,Excel 呢,支持的默认 API 无法进行复杂查询。所以我今天要给你介绍一个功能强大,但编写代码又简单的数据库 SQLite。你可以用 SQLite 存储结构化的数据,把程序的处理结果保存到电脑中,便于下次或使用新的程序对这些数据进行访问。用 SQLite 存储结构化的数据,包括增删改查这些操作。原创 2024-05-25 11:53:01 · 756 阅读 · 0 评论 -
20|不同文件混在一起,怎么快速分类?
今天我们的内容要从一碗香喷喷的蛋炒饭开始。要想做一份传说中的蛋炒饭,肯定要放胡萝卜、黄瓜、火腿肠还有葱花等好多种类的食材。这是不是像你的桌面一样,为了完成某一项目,需要将音频、视频、文档、图片等各种格式组合在一起。但你在你完成了项目之后,想要将它们进行整理的时候,会发现各类文件堆满了桌面,要想从桌面找都某个文件就像从蛋炒饭里将所有的葱花挑出来一样困难。原创 2024-05-24 14:40:24 · 931 阅读 · 0 评论 -
19|http库:如何批量下载在线内容,解放鼠标(下)?
最后,总结一下本节课的主要内容。在这一讲中,通过“selenium”实现了浏览器的模拟,并把浏览器的点击链接、用户登录、切换标签等常用功能使用“selenium”的函数和 XPath 转换为用 Python 可以控制的操作。转换之后,你就可以利用 Python 控制浏览器的行为,把这些需要鼠标的交互式操作编写为非交互式的代码,达到自动化控制浏览器的目的了。除了实现自动签到以外,通过“selenium”的函数组合,你就能模拟浏览器的绝大部分操作。原创 2024-05-24 11:36:37 · 1205 阅读 · 0 评论 -
18|http库:如何批量下载在线内容,解放鼠标(上)?
根据上面我提到的组合两个函数的思路,你不难发现,要想实现批量下载图片函数,必须先得到每个图片的下载地址,而下载地址会出现在请求网页的函数执行结果中。接下来我们就从请求网页函数的执行结果 -- 网页的 HTML 代码入手,寻找图片的下载地址,并从这些下载地址中寻找规律,批量提取下载地址。原创 2024-05-24 10:06:28 · 770 阅读 · 0 评论 -
17|不同操作系统下,如何通过网络同步文件?
你有没有过这种经历:慌慌张张地去会议室开会,突然发现自己需要的文件却在工位的台式电脑中。因为文件比较大大,通过互联网下载需要很长时间。如果用网盘来中转放在两个电脑上的文件,传输速度又很慢。我猜这个时候你就会想:如果能用一台电脑实现文件的上传和下载,那文件传输是不是就非常方便快速了。这当然是可以实现的。所以今天,就教你怎样用 Python 基于 HTTP 协议,来实现跨操作系统的文件上传和下载功能。今天要学习的代码都不长,比较精简,又和文字相得益彰,所以学起来也不会太累。原创 2024-05-23 18:32:39 · 664 阅读 · 0 评论 -
16|循环与文件目录管理:如何实现文件的批量重命名?
作为产品经理 / 运营,你经常需要做竞品调研,来跟自家产品对比优劣。这时,你就需要下载大量与该类产品相关的图片,并进行整理归类。而归类操作中,必须要走的一步就是对这些图片进行重命名。还有你在搜集资料时,往往会从网络中下载大量不同格式的文件,比如电子书、视频、音频等,为了方便归纳整理,你也需要对文件进行重命名。通过例举的这两个场景,你应该发现了,这些需求都是把结合,而且还需要 Mac 和 Windows 系统支持重命名。那怎么来实现批量重命名的操作呢?原创 2024-05-23 17:42:26 · 976 阅读 · 0 评论 -
15|PowerShell脚本:如何实现文件批量处理的自动化?
PowerShell 是开源的终端命令解释器,之所以被称作解释器,是因为它会把用户输入的命令翻译给操作系统去执行,也能把操作系统执行的结果返回给用户。作为 PowerShell 的初学者,你刚开始理解起来会有点难度,不过别担心,举个例子就明白了。比如,在商场中的娃娃机,你需要通过对摇杆的控制来移动爪子的位置,抓取想要的礼物,因为你自己是没法直接移动爪子的。那么把你移动摇杆的操作翻译成爪子移动操作的功能,这就是解释器。原创 2024-05-23 17:11:05 · 2065 阅读 · 0 评论 -
14|VBA脚本编程:如何扩展Excel,实现文件的批量打印?
第三部分是 PrintOut 方法的三个参数,它的三个参数更改了打印的默认行为。原创 2024-05-23 16:28:12 · 2705 阅读 · 0 评论 -
13|Excel插件:如何扩展Excel的基本功能?
我们在讲了怎么利用 Python 优化 Excel 的输入和计算效率之后,相信你已经知道该怎么使用 Python 的循环和文件库进行多个文件的处理,怎么使用正则表达式对内容进行查找和替换。但是有时会因为临时的需求,为了得到查询的结果而进行一次性的表格处理,这时候如果用 Python 来解决,估计你有一种“杀鸡用牛刀”的感觉,未免小题大做了。所以在接下来的三节课里,会利用 Excel 中自带的插件和更简单的两个脚本工具,来完成这种临时的、简单的重复性任务,让你用更便捷的方式实现办公自动化。原创 2024-05-23 15:44:53 · 995 阅读 · 0 评论 -
12|文本处理函数:三招解决数据对齐问题
的顺序。先把它的代码写出来,供你参考,然后讲解补齐日期的过程。原创 2024-05-23 14:52:28 · 1265 阅读 · 0 评论 -
11 |通过程序并行计算,避免CPU资源浪费
在最后,总结一下实现并行计算的基本方法和三个注意事项。通过 multiprocessing 的 Pool 包可以实现基于进程的并行计算功能,Pool 包的 map() 函数会根据 Pool 包指定的进程数量实现并行运行。这里还有三点需要你注意:1. 作为 map() 函数的第一个参数你需要传递函数对象 f,不能传递函数的调用 f() 形式,这是初学者实现并行任务最容易出现的错误。2. 为了让并行度更适合你的电脑,应该根据逻辑 CPU 的个数设置并行度,并根据运行时间来对并行数量进一步优化。原创 2024-05-23 10:14:59 · 777 阅读 · 0 评论 -
10|按指定顺序给词语排序,提高查找效率
自定义排序是在基本排序基础上,能够支持更多的排序方式和更复杂的数据类型。在排序方式上,我们通过参数,可以把默认的从小到大的排序改为从大到小。在对数据类型的支持上,像列表中包含元组这种复杂数据类型,可以通过指定元组的任意一列进行排序。我们先学习自定义排序是怎么支持更多的排序方式的,它的前提是要先更改默认的排序方式。例如我想要实现列表的从大到小的排序,并提取 Top 3 这一需求,首先需要使用函数的第四个参数 reverse 参数改变默认的排序方式,排序后需要使用列表的切片方式提取前三个元素。原创 2024-05-23 09:28:04 · 908 阅读 · 0 评论 -
09|扩展搜索:如何快速找到想要的文件?
最后,总结一下。这节讲解了如何使用 pathlib 库搜索文件,以及如何使用配置文件和索引文件加快搜索。利用索引文件减少等待时间,实际上是将 Windows 的搜索进行了拆分,提前将搜索的路径保存到了索引文件中,从索引文件搜索时,就不用再进行真正的文件查找工作了,这就减少了搜索的等待的时间。这种搜索方法在服务器领域已经被广泛使用,像 Linux 和 MacOS 操作系统中都存在着利用索引文件的搜索命令,对于服务器上变化频率较低的场景,利用索引文件搜索非常实用。原创 2024-05-22 17:16:08 · 854 阅读 · 0 评论 -
08|正则表达式:如何提高搜索内容的精确度?
如果是的话,那么此次查找结束。如果不是,我们就需要根据匹配的位置和结果,使用 search() 函数重新编写正则表达式。这就是使用正则表达式进行搜索的整个工作过程。那接下来我们就来学习一下正则表达式的两种匹配方式。原创 2024-05-22 14:50:11 · 739 阅读 · 0 评论 -
07|快速读写文件:如何实现跨文件的字数统计?
通过跨文件字数统计这个场景,讲解了 Python 的文件操作函数和如何选择更合适的数据类型。在进行文件的读写操作时,你需要注意被读写文件的路径、打开模式、字符编码这三个主要问题。同时,这三个问题也是新手在操作文件时会经常出现的错误的地方。尤其是打开模式的错误的设置为“w”将重要文件覆盖写入的问题,在 python 初学者中经常出现,建议你先采用判断文件是否可读取的方式,避免对重要文件进行误写。现实工作中的场景往往是比较复杂的,我们经常要根据不同的场景,把文件内容读取到不同的数据类型的变量中。原创 2024-05-22 14:20:39 · 826 阅读 · 0 评论 -
06 | jieba分词:如何基于感情色彩进行单词数量统计?
在涉及运营、市场的工作中,我们经常需要根据产品评论的情感分析,来了解某一产品的口碑。所谓的情感分析,就是指根据用户对产品的评论,分析出用户对产品的喜好程度。最简单的,我们会的,然后根据反馈结果改变产品的特性。稍微复杂一点的,我们会。如果靠人工对产品评价进行辨析,有很大的局限性:一个是不够公平,因为每个人对词语感情色彩的理解并不是完全一致的;另一个是产品评价有很多,而且还会不定期增加,人工分析很难保证及时性。原创 2024-05-22 11:41:34 · 913 阅读 · 0 评论 -
05 | 图像处理库:如何实现长图拼接?
我们在工作中,除了和文字、表格打交道之外,还会经常涉及到批量处理图片和视频的工作。比如:媒体从业者在发微博长图文时,需要把多个图片拼接成一幅长图;作为视频剪辑人员,需要从互联网下载多段视频,再进行合并。这类工作可以用功能强大的商业软件实现,不过这些软件大都操作繁琐,而且还需要付费。为了降低学习成本和购买软件的成本,我们往往还会使用开源软件替代商业软件来实现图片和视频处理功能。但是开源软件通常都是以命令行方式运行的,所以我们不仅要记住命令,还得记住命令的常用参数。原创 2024-05-22 11:10:02 · 1012 阅读 · 0 评论 -
04 | 函数与字典:如何实现多次替换
我们还是用把城市名称的拼音替换成汉字的例子来讲解。原创 2024-05-22 10:33:35 · 1073 阅读 · 0 评论 -
揭晓项目作业的答案
如果需要统计水果销售额 Top3, 我们也需要先将数据统计为月销售数据, 之后不能将月数据合并到一起, 而是需要对每个月的数据进行排序, 取出销售最多的前三个水果销售额, 所以统计月销售数据以前的程序逻辑是相同的, 区别是统计月销售数据以后, 一个是进行合并一个是进行排序操作。在排序之后,接下来的问题就是如何取出前三个元素了。第 9、10 行代码是用来读取目录下所有的 Excel 文件的,获取路径使用的是第 2 讲的 pathlib 库,我在第 2 讲也为你详细剖析过它的逻辑,这里就不再赘述了。原创 2024-05-21 18:39:38 · 866 阅读 · 0 评论 -
用自顶至底的思路解决数据统计问题
你看,你不会关注冰箱是什么品牌,大象是什么品种,冰箱的容积如何,大象的体积有多大等等。如果用 python 来实现总销售额的统计,实现思路应该为:通过 pathlib 库和 for 循环遍历文件,读取每个 Excel 文件,再通过 xlrd 库读取每个 Excel 里的每个 sheet,每个 sheet 里记录了每一天的销售数据, 这样可以把每天的销售数据读取出来。这两道问题的处理思路非常相似,都是需要处理每个月的销售额,但是第一个问题,统计全年销售额,需要将 12 个月的销售数据进行累加。原创 2024-05-21 18:36:14 · 348 阅读 · 0 评论 -
实体水果店转线上销售的数据统计问题
老板为了进行年终数据统计,需要从在线管理软件下载 Excel 格式的销售数据,并对销售数据进行处理,分析各个种类的水果受欢迎的程度和库存量,最后录入销售管理系统。将线上的数据转换为线下数据的时候,由于数据不兼容,必须进行统计和一定格式的调整。在 Excel 中,每个 sheet 记录了当日的销售数据,每个 Excel 文件记录了当月的销售数据。准备了一个项目作业,帮助你检验第一模块的学习成果。这个作业由 3 个部分组成,今天,会介绍项目背景,给出你操作题目,稍后,我会给出参考思路,然后,我会公布答案。原创 2024-05-21 17:30:57 · 215 阅读 · 0 评论 -
03|图片转文字:如何提高识别准确率?
不知道你有没有遇见过这样的场景:在工作中,你遇见了一个紧急情况,对方给你发了一串儿聊天记录的长截图,当你处理完事情想要复盘的时候,必须要把这些记录处理成文字,然后就发现图片转文字过程中会出现很多问题,还需要自己二次手动校对。经过不断尝试,就发现用互联网上的 AI 产品可以非常准确地识别出图片中的印刷体文字。而且再通过 Python 还可以实现把识别到的文字进行格式处理、文件保存等自动化操作。那么今天,就介绍两种能够精准、快速地把图片转成文字的方式:在线识别和离线识别。原创 2024-05-21 16:46:57 · 1129 阅读 · 0 评论 -
02|善用Python扩展库:如何批量合并多个文档?
在日常工作中,我们打交道最多的文件就要数 Word 和 Excel 了。我们经常面临这么一种场景:需要将 Excel 的内容合并到 Word 中。你可以想一想,完成这个需求,需要手动进行几个步骤的操作呢?很显然,有 4 步。首先,要手动打开 Excel、Word 文件;接着,复制一个单元格的文字到 Word 指定位置;然后,如果有多个单元格,就需要重复复制多次;最后,保存 Word 文件,并关闭 Excel 和 Word 文件。如果只有两个文件,这几步手动操作一定不成问题,不会耗费太多的时间。原创 2024-05-21 16:14:02 · 1256 阅读 · 0 评论 -
01 | 拆分与合并:如何快速地批量处理内容相似的Excel?
合并后的效果如下图:有一点需要你注意的是,为了让你更好地理解 Python 循环的工作过程,我没有严格遵守编码规范,而是尽可能地让程序按照从上到下的顺序执行。如果你已经不是第一次使用 Python,可以根据你的使用习惯,将程序进一步封装成 Python 里的函数,更加优雅地去实现它。总的来说,在使用 Python 对 Excel 的合并操作时,需要你掌握的最核心的操作就是读写文件和行列坐标控制。熟练掌握这两个功能,你才能一次得到想要合并成的样子,不用再对 Excel 进行二次的手工操作。原创 2024-05-21 15:49:31 · 1233 阅读 · 0 评论 -
导读|入门Python的必备知识
通过上面的内容,简单介绍了一下入门 Python 需要掌握的五大部分,包括环境配置、变量、数据类型、控制语句和使用函数库的方法。这五个部分是 Python 最基础也是最必要的语法知识。希望你能通过我的介绍,对 Python 语言有所了解,消除对编程语言的畏惧心理。最重要的是,即使今天这节你没有完全懂,也没有关系。一方面,会在之后的课程中不断讲解每个部分的用法和具体使用场景。还是在开篇词中说的学习方法,需要在听讲解的同时,动手操作,反复练习,这些语法知识就不会是太大的问题。原创 2024-05-21 15:19:17 · 687 阅读 · 0 评论 -
开篇词 | 重复工作这么多,怎样才能提高工作效率?
这次总结了工作这些年来切身经历的、经常被问到的办公效率低下问题,以及对应的解决方案,会把它们全部分享给你。希望你学完这门课,能够。说到这里,你脑中是不是回忆起了一幕幕的低效工作场景:需要对 Excel 文件中的内容进行拆分和合并,你要一个个手动拆分再合并;文件夹里有大量图片需要重命名,你不得不挨个儿点击一张张图片,再重新命名;网络中有大量新闻和图片需要下载,你就要手动把每个网页另存为文件;需要把数据快速生成自己想要的图形,一个一个图形参数来设置;原创 2024-05-21 15:06:32 · 942 阅读 · 0 评论