- 博客(119)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 可视化工具--Plotly
随着信息技术的发展和硬件设备成本的降低，当今的互联网存在海量的数据，要想快速从这些数据中获取更多有效的信息，数据可视化是重要的一环。对于Python语言来说，比较传统的数据可视化模块是Matplotlib，但它存在不够美观、静态性、不易分享等缺点，限制了Python在数据可视化方面的发展。 为了解决这个问题，新型的动态可视化开源模块Plotly应运而生。由于Plotly具有动态、美观、易用、种类丰富等特性，所以一经问世就受到开发人员的喜爱。
2021-12-21 18:16:29
11976
10
原创 将pycharm中环境显示的PS修改为自己命名的环境名
在Pycharm中，当我们创建好自己命名的虚拟环境的时候，在控制台中显示是PS，而不是我们自己命名的名字，如下：解决方式：File->Settings->Tools->Terminal->Shell path，选择如下设置结果：...
2021-11-11 17:33:11
2692
原创 解决“Python was not found； run without arguments to install from the Microsoft Store...”问题
在以往正常（Python环境配置成功）的情况下，今天运行程序的时候突然报了这样的一个错误：Python was not found; run without arguments to install from the Microsoft Store, or disable this shortcut from Settings > Manage App Execution Aliases.解决方法：打开电脑属性–》环境变量–》点击Path(如果是配置到用户变量，就点击用户变量下的Path，如果
2021-11-01 11:31:13
21102
2
原创 Spark SQL（二）：DataFrame APIs
文章目录一.输入与输出1.DataFrameReader.csv一.输入与输出方法概述DataFrameReader.csv(path[, schema, sep, …])加载一个CSV文件并以DataFrame的形式返回结果。DataFrameReader.format(source)指定输入数据源格式。DataFrameReader.jdbc(url, table[, column, …])构造一个 DataFrame，它表示通过 JDBC URL 和连接属性可
2021-10-28 11:43:22
828
原创 Spark的介绍、特点、核心术语、运行过程及安装
文章目录一.Spark介绍二.Spark特点一.Spark介绍Spark 是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，其用于大规模数据处理的统一分析引擎。它提供了 Scala、Java、Python 和 R 中的高级 API，以及支持用于数据分析的通用计算图的优化引擎。它还支持丰富的高级工具集，包括用于 SQL 和 DataFrames 的 Spark SQL、用于 Pandas 工作负载的 Pandas API
2021-10-25 09:31:36
1715
原创 Spark SQL（一）：核心类、Spark Session APIs、Configuration、Input and Output
文章目录一.核心类二.Spark Session APIs1.SparkSession.builder.config2.SparkSession.builder.getOrCreate3.SparkSession.createDataFrame4.SparkSession.getActiveSession5.SparkSession.range6.SparkSession.table三.配置四.输入与输出一.核心类类名概述SparkSession(sparkContext[, jsp
2021-10-24 10:30:00
1177
原创 Pycharm如何重新加载
在日常工作中，我们可能会经常遇到一种情况，那就是当我们程序执行结束后，相应的项目文件并没有自动显现出来，这时为避免我们关闭Pycharm再重新打开的麻烦，我们可以使用Pycharm中的同步或者快捷键进行重新加载。1.同步File—》Reload All from Disk，等待系统同步完成即可完全项目文件的更新。2.快捷键快捷方式： Ctrl+Alt+Y，更新完成后可点开项目文件，查看具体文件夹是否已同步。...
2021-10-20 11:03:57
5429
原创 Python安装spark
文章目录一.配置版本二.配置环境1.配置JDK2.配置Spark三.配置Hadoop说明： 本文使用anconda+pycharm安装spark一.配置版本Java JDK 1.8.0_111Python 3.9.6Spark 3.1.2Hadoop 3.2.2二.配置环境1.配置JDK从官网下载相应JDK的版本安装，并进行环境变量的配置（1）在系统变量新建JAVA_HOME，根据你安装的位置填写变量值（2）新建CLASSPATH变量值：.;%JAVA_HOME%\lib\
2021-10-12 13:56:40
3197
1
翻译 Apache Beam中python常用函数（二）：聚合函数
文章目录一.聚合函数1.CoGroupByKey二.其他函数一.聚合函数函数描述CoGroupByKey获取多个键控元素集合并生成一个集合，其中每个元素都包含一个键和与该键关联的所有值。CombineGlobally变换以组合元素。CombinePerKey转换以组合每个键的元素。CombineValues转换以组合键控迭代。Count计算每个聚合中的元素数。Distinct生成一个包含来自输入集合的不同元素的集合。GroupByK
2021-10-11 16:27:00
763
原创 APScheduler定时任务框架
文章目录一.APScheduler简介一.APScheduler简介Advanced Python Scheduler (APScheduler) 是一个 Python 库，可让您安排 Python 代码稍后执行，可以只执行一次，也可以定期执行。您可以随意添加新工作或删除旧工作。如果您将作业存储在数据库中，它们也将在调度程序重新启动后幸存下来并保持其状态。当调度程序重新启动时，它将运行它在离线时应该运行的所有作业。除此之外，APScheduler 可以用作跨平台、特定于应用程序的平台特定调度程序的替代
2021-09-02 15:48:37
4404
原创 Anaconda“重命名”conda虚拟环境
Anaconda本身是不支持虚拟环境的重命名操作的，所以我们需要通过另一种方式来实现，也就是通过复制和删除操作实现“conda环境的重命名”如上，我们将conda虚拟环境python3.9“重命名”为index_env（1）首先对要需要重命名的conda环境进行复制：conda create -n index_env --clone python3.9运行结果：（2）然后删除原有的conda环境：conda remove -n python3.9 --all运行结果：–all：
2021-08-31 10:45:31
1495
原创 Python中的traceback的基本用法（异常处理）
文章目录一.Traceback介绍二.Traceback中的相关函数1.traceback.print_exc一.Traceback介绍在日常开发中，我们会做一些基本的异常处理，但是有时候只能打印我们处理的结果或者将异常打印出来，不能直观的知道在哪个文件中的哪一行出错。def func(num1, num2): try: x = num1 * num2 y = num1 / num2 return x, y except Exceptio
2021-08-26 11:23:32
73553
7
原创 解决“Could not build wheels for xx which use PEP 517 and cannot be installed directly“问题
文章目录python -m pip install --upgrade pippython -m pip install --upgrade setuptools如果升级pip报如下错误：可以使用下面的命令进行升级：easy_install -U pip
2021-07-20 19:19:31
47731
10
翻译 Apache Beam中python常用函数（一）：基本函数（Filter、FlatMap、Map、ParDo、Keys、Values...）
文章目录一.argparse1.2.parse_args一.argparseargparse模块使编写用户友好的命令行界面变得容易。程序定义了它需要的参数，argparse将找出如何从sys.argv解析这些参数。argparse模块还会自动生成帮助和用法消息，并在用户向程序提供无效参数时发出错误。1.2.parse_args...
2021-07-08 10:52:05
1027
1
原创 Apache Beam简介及相关概念
文章目录一.简介二.基本概念1.Pipelines2.PCollection3.Transforms4.ParDo5.Pipeline I/O6.Aggregation7.User-defined functions (UDFs)8.Runner三.高级概念1.Event time2.Windowing3.Watermarks4.Trigger四.工作原理一.简介Apache Beam 是一个开放源码的统一模型，用于定义批处理和流数据并行处理管道。Apache Beam 编程模型简化了大规模数据处理的机
2021-07-08 10:50:59
1174
原创 如何将Chrome中的插件导出为crx文件
步骤一：打开谷歌浏览器－－＞更多工具－－＞选择扩展程序步骤二：打开开发者模式，复制需要打包的插件ID，此ID是你在你电脑里找到这个插件的识别名字步骤三：需要先进入插件文件里，路径如下：C:\Users\Administrator\AppData\Local\google\Chrome\User Data\Default\Extensions然后你找到你刚才的插件ID文件名。然后复制整个文件路径。步骤四：点击打包扩展程序，将刚刚复制的路径填入到你的打包扩展程序根目录那里或者直接点击浏览找
2021-07-07 13:52:18
2141
原创 解决操作无法完成，因为其中的文件夹或文件已在另一程序中打开的问题
在日常使用电脑中，当我们想删除某些文件夹或者文件时，可能会遇到 “操作无法完成，因为文件可能在另一个程序中打开” 类似的提示解决方法：打开任务管理器，点击‘性能’——>‘打开资源监视器’复制你想删除的文件夹或者文件的名字，粘贴到搜索句柄中进行搜索，右键结束进程。...
2021-07-05 17:07:50
9595
3
原创 Python正则表达式（二）：基础语法、常用正则表达式
文章目录一.正则表达式基础语法二.方括号里用“^”表示不希望出现的字符三.由字符‘\’和另一个字符组成特殊含义四.正则表达式实战五.RegExp对象的属性和方法六.常用正则表达式1.校验数字的表达式2.校验字符的表达式3.特殊需求表达式一.正则表达式基础语法字符描述^指出一个字符串的开始$指出一个字符串的结束\将下一个字符标记为一个特殊字符、或一个原义字符、或一个向后引用、或一个八进制转义符^abc匹配所有以 “abc” 开始的字符串 （例如：“abc”，“
2020-12-08 09:34:04
1967
原创 Python正则表达式（一）：简介、字符匹配、函数
文章目录一.正则表达式1.re.compile一.正则表达式正则表达式(Regular expression）是一组由字母和符号组成的特殊文本,它可以用来从文本中找出满足你想要的格式的句子。比如我们在网站中看到对用户名规则做出了如下限制:只能包含小写字母、数字、下划线和连字符，并且限制用户名长度在3~15个字符之间，如何验证一个用户名是否符合规则呢﹖我们使用以下正则表达式:以上的正则表达式可以接受john_doe、jo-hn_doe、john12_as，但不能匹配A1，因为它包含了大写字母而且长度
2020-12-07 15:41:59
1511
原创 Python自动化办公基础（二）：数据分析、发送邮件、文件管理、python对微信及钉钉相关处理
文章目录一.数据分析(pandas)1.导入数据2.数据透视表3.matplotlib4.数据可视化二.发送邮件1.发送普通邮件2.发送带网址的邮件三.Python玩微信1.可视化统计好友地理位置2.获取全部微信好友头像3.开发聊天机器人四.Python玩钉钉1.自动群发钉钉消息2.发链接和Markdown五.文件管理1.搜索文件2.一键打开办公软件一.数据分析(pandas)1.导入数据安装：pip install pandas（1）一维数据import pandas as pd# 一维数据
2020-12-04 09:10:24
2853
原创 Python自动化办公基础（一）：Excel、Word、PDF、PPT的相关处理
文章目录一.Excel1.xlrd读2.xlwt写3.xlutils设置格式4.案例-统计每位同学总分5.更灵活的操作方式6.将文件夹整理到Excel中7.使用Excel画画二.Word一.Excel1.xlrd读安装xlrd:pip install xlrdexcel表：（1）获取单元格内容import xlrd# 打开excel表xlsx = xlrd.open_workbook('测试表1.xlsx')# 查找所需表格sheet = xlsx.sheet_by_index(0
2020-12-03 11:44:41
1429
2
原创 RPA高阶（三）：发布为组件、触发机器人配置、服务器共享变量及任务数据
文章目录一.发布为组件1.发布组件2.组件的发布与管理3.发布至本地环境4.发布至企业服务器5.自定义组件管理二.触发机器人配置1.点击触发三.服务器共享变量1.简介2.新增变量四.服务器共享任务数据1.简介2.新增任务数据3.增查弹删一.发布为组件1.发布组件企业内部可能有些流程是公用的，并且很多流程中都会使用到，比如登录过程、查找和发送邮件等。这时候，我写好了第一个流程，这些子流程都定义好了，我写第二个流程的时候想引用第一个流程怎么办？这时候可以使用发布组件作用：（1）发布：机器人上传至服务
2020-11-25 08:51:18
1597
原创 RPA高阶（二）：邮件类组件、滑动验证码、网页处理
文章目录一.邮件类组件1.发送邮件组件（QQ邮箱为例）一.邮件类组件1.发送邮件组件（QQ邮箱为例）获取QQ邮箱授权码:打开QQ邮箱–》设置–》账户–》开启服务–》生成授权码
2020-11-24 09:28:14
2466
原创 RPA高阶（一）：流程及变量命名规范、新增功能点、组件属性容错、相对路径、数据处理、第三方库、PDF处理
文章目录一.组件属性容错1.目标属性2.模拟按键3.页面跳转4.验证码5.Excel写入6.输入法问题7.未知事件容错二.相对路径一.组件属性容错1.目标属性（1）窗口标题确认窗口标题是否匹配窗口标题中的文字需被包含在窗口标题中来做判断（2）selector变化处理方式#：表示以id定位----唯一. : 表示以class定位[]: 表示不同定位方式组合定位body>:表示层级定位注意：如果前三种方式定位不准确推荐第四种（3）窗口标题时间优化处理方式同一页面的操作可以只勾
2020-11-23 09:12:44
1926
1
原创 Django的DRF（三）：其他功能（认证、权限、限流、分页、过滤、排序、异常处理、接口文档）
文章目录1.认证(Authentication)2.权限(Permissions)2.限流(Throttling)1.认证(Authentication)可以参考官方文档，配置认证内容可以在配置文件中,配置全局默认的认证方案:settings.py:# DRF配置信息REST_FRAMEWORK = { 'DEFAULT_AUTHENTICATION_CLASSES': [ # BasicAuthentication:此身份验证方案使用HTTP基本身份验证
2020-09-25 08:04:24
737
原创 Django的DRF（二）：APIView(一级视图)、GenericAPIView(二级视图)、三级视图、ViewSets(视图集)、Router(路由)
文章目录一.模型类序列化器ModelSerializer1.序列化与反序列化（1）序列化（2）反序列化2.field一.模型类序列化器ModelSerializer1.序列化与反序列化serializers.py:# 定义书籍模型类序列化器from rest_framework import serializersfrom Book.models import BookInfoclass BookModelSerializer(serializers.ModelSerializer):
2020-09-24 09:21:45
2733
3
原创 Django的DRF（一）：前言、简介、Serializer序列化器、ModelSerializer序列化器
文章目录一.前言1.REST接口开发2.序列化(Serialization)二.简介1.概述2.环境安装与配置一.前言1.REST接口开发在开发REST API接口时，视图中做的最主要有三件事：（1）将请求的数据（如JSON格式）转换为模型类对象（2）操作数据库（3）将模型类对象转换为响应的数据（如JSON格式）2.序列化(Serialization)（1）维基百科中对于序列化的定义： 序列化（serialization）在计算机科学的资料处理中，是指将数据结构或物件状态转换成可取用格式
2020-09-23 08:04:54
879
原创 Django站点管理：简介、个性化站点管理，后台主题框架（django-simpleui）
文章目录一.简介二.站点管理1.基本使用2.个性化站点管理（1）显示字段（2）搜索字段（3）分页（4）过滤字段（5）排序规则（6）分组显示（7）布尔值定制显示（8）后台主题框架一.简介Django中默认集成了后台数据管理页面，通过简单的配置就可以实现模型后台的Web控制台。管理界面通常是给系统管理员使用的，用来完成数据的输入，删除，查询等工作。如果没有集成，自己在settings中的INSTALLED_APPS添加’django.contrib.admin’应用就好了二.站点管理1.基本使用创
2020-09-22 13:57:39
1986
原创 Django的FBV与CBV：FBV基本使用及序列化问题、CBV基本使用、序列化问题及类视图
文章目录一.FBV1.基本使用2.序列化问题二.CBV1.基本使用一.FBV1.基本使用概念：基于函数的视图函数（function base view）创建主路由：url(r'^fbv/',include('FbvApp.urls')),创建子路由：url(r'^animal/',views.animal),创建模型并进行迁移：class Animal(models.Model): name = models.CharField(max_length=32) age =
2020-09-20 11:41:24
360
原创 Django的边边角角（一）：模型继承、静态资源、文件上传
文章目录一.模型继承1.概述2.模型创建二.静态资源1.静态资源和模板的区别2.注意三.文件上传1.源码实现一.模型继承1.概述默认一个模型在数据库中映射一张表如果模型存在继承的时候，父模型产生表映射子模型对应的表会通过外键和父表产生关联从表外键引用主表得主键 不能说从表外键引用主表得主键就一定是模型继承 因为一对一 一对多 都会引用主表得主键关系型数据库性能 数据量越大性能越低 关系越多越复杂越低性能越低2.模型创建class Dog(Animal): name =
2020-09-18 10:52:28
293
原创 Talend API Tester：安装、主要功能、缺点
文章目录1.安装2.主要功能（1）支持七种方法（2）导入Swagger API（3）环境变量（4）表达式构造器（5）断言（6）场景模式3.缺点如果各位有API测试方面的需求的话，可以尝试一下谷歌插件Talend API Tester，之前一直使用postman进行测试，偶然发现Talend API Tester这一插件，感觉还蛮不错的，在功能上可以替换掉之前一直用的postman.1.安装Talend API Tester是谷歌扩展，仅需要安装到Chrome就可以使用了，正常的话，去Chrome的应用
2020-09-16 14:53:41
19638
1
原创 数据分析的NumPy模块（二）：数组的基本操作(索引、重设形状、数组展开、级联、副本、聚合函数、轴移动与交换、循环)
文章目录一.Numpy 数组的基本操作1.索引2.重设形状3.数组展开4.级联5.副本6.ndarray的聚合函数7.轴移动与轴交换8.数组'循环'二.ndarray的矩阵操作1.基本矩阵操作一.Numpy 数组的基本操作1.索引一维与列表完全一致进行切片：图片修改：操作结果：2.重设形状reshape 可以在不改变数组数据的同时，改变数组的形状。其中，numpy.reshape() 等效于 ndarray.reshape()。reshape方法非常简单：3.数组展开ra
2020-09-12 09:25:31
575
原创 数据分析的NumPy模块（一）：初始NumPy模块、数组的基本操作（内置数组创建方法、随机数组抽样、文件 I/O 创建数组、ndarray数组属性）
文章目录一.初识NumPy模块1.简介2.数据类型3.从图片认识numpy4.数组对象ndarray二.NumPy中数组的基本操作1.内置的数组创建方法（1）从列表或元组转换（2）arange 方法创建（3）linspace 方法创建（4）ones 方法创建（5）zeros 方法创建（6）full方法创建（7）eye 方法创建一.初识NumPy模块1.简介（1）概念NumPy(Numerical Python) 是 Python 语言的一个扩展程序库，支持大量的维度数组与矩阵运算，此外也针对数组运算
2020-09-11 08:08:54
390
原创 Jupyter Notebook 的快捷键
文章目录1.命令模式(按键 Esc 开启)2.编辑模式 ( Enter 键启动)Jupyter Notebook 有两种键盘输入模式。编辑模式，允许你往单元中键入代码或文本；这时的单元框线是绿色的。命令模式，键盘输入运行程序命令；这时的单元框线是灰色。编辑模式：命令模式：1.命令模式(按键 Esc 开启)（1）Enter : 转入编辑模式（2）Shift-Enter : 运行本单元，选中下个单元（3）Ctrl-Enter : 运行本单元（4）Alt-Enter : 运行本单元，在其下插入
2020-09-10 09:15:49
317
原创 数据分析的基础：前言、概念、应用、分析方法、分析工具、基本流程、Python数据分析常用模块
文章目录一.前言1.数据价值2.数据分析之路二.数据分析的概念三.数据分析的应用四.数据分析方法1.概念2.详解五.数据分析工具六.数据分析的基本流程七.Python数据分析常用模块1.数值计算模块NumPy2.数据处理模块Pandas3.数据可视化模块matplotlib4.机器学习模块scikit-learn5.深度学习模块tensorflow一.前言1.数据价值（1）传统的web项目 在中国一一提到IT,人们首先联想到程序员。IT(Information Technology)信息技术,当中
2020-09-09 11:02:00
1497
原创 Excel的透视表：概念、用途、应用
文章目录一.概念二.用途三.应用1.基本使用一.概念进行数据分析的时候，我们会根据分析的数据内容选择合适的图表来进行数据可视化分析和展示，对较大数据进行汇总分析时，我们常常会用到数据透视表。数据透视表（Pivot Table）是一种交互式的表，可以自由选择多个字段的不同组合，用于快速汇总、分析大量数据中字段与字段之间的关联关系。使用数据透视表可以按照数据表格的不同字段从多个角度进行透视，并建立交叉表格，用以查看数据表格不同层面的汇总信息、分析结果以及摘要数据。二.用途1.对数值数据快速分类汇总，按
2020-09-08 09:00:04
10606
空空如也
如何使用python以Apache Beam的方式连接oracle数据库？
2021-07-14
TA创建的收藏夹 TA关注的收藏夹
TA关注的人