![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Python
文章平均质量分 71
panda_225400
这个作者很懒,什么都没留下…
展开
-
大数据ETL工具Kettle
记录点滴滴,这ETL工具还支持hadoop Hbase,原创 2023-06-12 21:57:52 · 1306 阅读 · 0 评论 -
搭建Redis主从集群+哨兵+代理predixy
搭建了一个 Redis 服务器集群(主从复制+哨兵模式+代理),实现了主从配置和容灾部署,使得主机出现故障时,可自动进行容灾切换,现详细记录下搭建过程以及遇到的问题提示:以下是本篇文章正文内容,下面案例可供参考记录点点滴滴。原创 2023-04-30 20:08:11 · 4291 阅读 · 2 评论 -
机器人操作系统ROS/ROS2(1)
前天突然发现还有个机器人操作系统,故而引起自己的兴趣,研究下这是什么玩意。提示:以下是本篇文章正文内容,下面案例可供参考记录点点滴滴。原创 2023-01-07 15:55:20 · 2636 阅读 · 5 评论 -
GreenPlum6.x之ETL工具
GreenPlum作为一款定位为OLAP系统的分布式数据库平台,具有非常强大的ETL功能,其中存储过程和GPLoad是必须掌握的数据仓库开发工具。提示:以下是本篇文章正文内容,下面案例可供参考记录点点滴滴。原创 2022-11-27 10:20:30 · 903 阅读 · 0 评论 -
GreenPlum6.x之测试数据
分布式关系型数据库集群搭建好了,试下是否如网上所述处理的数据具有高性能的优势,所以导入500万条测试数据进行简单的试下提示:以下是本篇文章正文内容,下面案例可供参考在普通数据库里500万数据使用group by统计确实比较慢,但在GreenPlum下测试觉的确实性能高。原创 2022-11-19 20:02:18 · 859 阅读 · 0 评论 -
GreenPlum6.x之GPCC
Greenplum是一个关系型数据库集群,虽然在虚拟机上部署好了,但是如何能监控集群的服务器上数据库运行是否执行正常,Greenplum有个GPCC是数据库的可视化监控工具提示:以下是本篇文章正文内容,下面案例可供参考记录点点滴滴。原创 2022-11-19 14:20:27 · 744 阅读 · 0 评论 -
APP手机设备模拟器在线测试工具Responsinator
随着移动互联网的越来越普遍,网站做出来不能直接就全面上线,不同终端预览效果、网页性能、网页兼容性…等等都很大程度上决定了用户体验,最终决定 手机网站的成功,而且就算已经上线,也需要不断的去检测与调整。因此,我们需要一些工具来预览和测试移动网站,下面就给大家推荐一个手机网站在线预览 测试工具提示:以下是本篇文章正文内容,下面案例可供参考记录点点滴滴,本测试网址在手机横屏下布局还算正常,竖屏布局就有些局促了挤压了。原创 2022-10-15 14:53:08 · 1981 阅读 · 0 评论 -
vue3+springboot部署到Windows服务器
参考网上将项目部署到服务器,这里只介绍简单部署的方式。(1) 安装Nginx —— 用于部署vue(2) 安装mysql —— 数据库(3)安装jdk(4) 部署springboot项目打包vue项目将dist文件夹拷贝到Nginx的安装目录下mysql网上资料很多,就不多说配置Nginx因为现在是把vue前端交给了Nginx代理,所以这里的端口号不一定是我们在vue项目中设置的端口号。这里的端口号必须是当前服务器开放的端口号。启动Nginx打开Nginx安装路径下的命令行代码如下(示原创 2022-10-07 10:31:35 · 1640 阅读 · 1 评论 -
Python Selenium UI自动化(2)
之前写Python的办公自动化简单使用了将用户发的Excel的PO自动写入了我们IT的系统,但是后面还需要手动在操作,虽然不用在手动录入PO,但是还是要手动点击提交审批系统才能到下个节点,这次通过Selenium将自动打开浏览器模拟登陆系统并自动点击提交系统,全程不需要我手动去做任何事,全程自动化执行提示:以下是本篇文章正文内容,下面案例可供参考记录点点滴滴。原创 2022-10-07 09:32:23 · 569 阅读 · 0 评论 -
Python之办公自动化SFTP
公司里B2B是通过WinSCP里SFTP与客户进行数据传输,WinSCP是一个Windows环境下使用SSH的开源图形化SFTP客户端,本想偷个懒拿同事的WinSCP的SFTP代码给总部传数据,同事给的代码调用WinSCP就是执行不成功,不知道WinSCP是否有新旧版本兼容,还是必须两边的操作系统都需要是Windows环境呢,最后只能硬着头皮查资料重新写了一个。提示以下是本篇文章正文内容,下面案例可供参考记录点点滴滴httpshttpshttpshttps。.........原创 2022-07-31 18:20:57 · 1323 阅读 · 0 评论 -
外围系统调用SAP的WebAPI接口
公司要换新的SAP,之前调用SAP的接口都是通过WebService方式,现在新的SAP需要换成WebAPI接口提示以下是本篇文章正文内容,下面案例可供参考记录点点滴滴。原创 2022-07-23 14:04:40 · 1667 阅读 · 0 评论 -
Hadoop环境搭建学习之Spark SQL简单使用
用户需要从不同数据源操作结构化、半结构化和非结构化的各种数据。其次,用户需要执行高级分析,而关系数据库已经不能满足要求。Spark SQL 是 Spark 用于结构化数据(structured data)处理的 Spark 模块。因为关系数据库已经很流行,而且关系数据库在大数据时代已经不能满足要求。首先,用户需要从不同数据源执行各种操作,包括结构化、半结构化和非结构化数据。其次,用户需要执行高级分析,比如机器学习和图像处理。在实际大数据应用中,经常需要融合关系查询和复杂分析算法(比如机器学习或图像处理),原创 2022-06-12 16:44:25 · 594 阅读 · 0 评论 -
Hadoop环境搭建学习之使用Idea提交Java程序到spark集群(10)
Hadoop Spark HA环境搭建好了,试着创建程序提交到Spark集群执行简单计算统计需求:单词计数执行步骤:1、远程取两个文件2、获取两个文件内的数据3、将文件内的数据进行扁平化4、将相同单词进行分组5、聚合计算每个单词的个数资源列表虚拟机启动Hadoop HA启动Spark HA编写多个测试数据.txt文件,文件名随意,将文本文件上传至hdfs的/datas目录以1.txt、2.txt为例将测试数据传到hdfs的/input/datas目录hadoop fs -mkdir /原创 2022-06-04 17:42:41 · 452 阅读 · 0 评论 -
Python之办公自动化简单使用
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录前言一、Python如何自动化?二、使用步骤1.程序结构2.引入库3.Python读取PO数据4.config配置5.models实体-工具代码生成6.SQLAlchemy数据访问DB7.主程序执行总结前言提示:这里可以添加本文要记录的大概内容:老板分配了点杂七杂八的工作,其中有项工作内容是采购买完在SAP里出PO后,会将他们出的PO的单发给各个部门,我们会将出的PO要手动录到另外系统里接着去下面的审批和执行,从Excel.原创 2022-05-29 09:36:38 · 634 阅读 · 0 评论 -
Hadoop环境搭建学习之Phoenix设置SCHEMA(9)
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录前言一、SCHEMA是什么?二、使用步骤1. SCHEMA的启用2.SCHEMA操作3.SCHEMA关闭4.在SCHEMA下创建表5.DBeaver连接Phoenix总结前言提示:这里可以添加本文要记录的大概内容:1、SCHEMA 的启用、操作、关闭 2、DBeaver连接Phoenix提示:以下是本篇文章正文内容,下面案例可供参考一、SCHEMA是什么?Phoenix 中将 HBase 的 namespace 叫.原创 2022-05-22 16:03:36 · 985 阅读 · 0 评论 -
Hadoop环境搭建学习之Phoenix整合HBase(8)
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录前言一、Phoenix是什么?二、使用步骤1.环境准备2.集群规划2.Phoenix安装3.Phoenix Shell 表操作总结前言提示:这里可以添加本文要记录的大概内容:HBase 不支持 SQL 语法,使用非常不便,所以诞生丁 Phoenix。 Phoenix 是通过一个嵌人的 JDBC驱动存储在HBase 中的数据的查询。Phoenix 可以让开发者在 HBase数据集上使用 SQL 查询。一、Phoenix是什.原创 2022-05-15 13:20:21 · 660 阅读 · 0 评论 -
Python之pandas的简单使用
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录前言一、pandas是什么?二、使用步骤1.开发工具2.详细代码总结前言前天在给用户通过SQL操作数据时,由于数据过多超过10万以上的数据,在DB直接弄出来挺费劲,发现Python里这pandas工具做数据还是挺管用的,几十万的数据Python轻松搞定,学习了下pandas使用提示:以下是本篇文章正文内容,下面案例可供参考一、pandas是什么?示例:pandas 是基于NumPy 的一种工具,该工具是为了解决数据分.原创 2022-03-19 13:34:58 · 10896 阅读 · 0 评论 -
Python之数据库(表)对应SQLAlchemy模型
文章目录前言一、SQLAlchemy是什么?二、使用步骤1.引入库2.代码生成3.代码结构4.如何在windows服务器上执行定时任务总结前言最近想在服务器上用Python搞个定时从Oracle获取对应的数据,其他语言都有ORM不用编写SQL提示:以下是本篇文章正文内容,下面案例可供参考一、SQLAlchemy是什么?SQLAlchemy 是 Python 著名的 ORM 工具包。通过 ORM,开发者可以用面向对象的方式来操作数据库,不再需要编写 SQL 语句。二、使用步骤1.引入库Py原创 2022-03-05 15:20:42 · 1336 阅读 · 0 评论 -
Python之Celery定时任务
文章目录前言一、Celery定时任务是什么?二、使用步骤1.代码结构2.启动定时任务3.执行结果总结前言Celery在python中的应用除了实现异步任务(async task)外也可以执行定时任务(beat)一、Celery定时任务是什么?Celery默认任务单元由任务生产者触发,但有时可能需要其自动触发,而Beat进程正是负责此类任务,能够自动触发定时/周期性任务.Celery 进行周期任务也很简单,只需要在配置中配置好周期任务,然后在运行一个周期任务触发器(beat)即可,具体网上看原创 2021-12-12 09:33:55 · 3531 阅读 · 1 评论 -
Python之Celery小试
最近想了解下Python celery原理及运行流程,网上查看并练习了下文章目录前言一、Celery是什么?二、使用步骤1. 运行环境2.引入库3.启动celery4.调用添加异步任务5.项目结构总结前言提示:这里可以添加本文要记录的大概内容:例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习的基础内容。提示:以下是本篇文章正文内容,下面案例可供参考一、Celery是什么?Celery是实时处理和任务调度的分布式任务队列。主要应原创 2021-12-05 14:19:15 · 615 阅读 · 1 评论 -
Putty控制TPYBorad(MicroPython)
文章目录前言一、Putty是什么?二、Putty 控制 TPYBorad1.下载Putty软件2.通过USB数据线将TPYBorad与PC相连3.打开Putty软件4.运行代码总结前言MicroPython 交互式解释器模式(又称REPL),可以通过MicroPython交互式解释器直接可以执行Python代码,单片机上就会立即有反应一、Putty是什么?Putty是一个Telnet、SSH、rlogin、纯TCP以及串行接口连接软件.可以通过Putty 来控制 TPYBorad,打开Micro原创 2021-11-29 21:05:35 · 981 阅读 · 0 评论 -
MicroPython控制单片机01
文章目录前言一、MicroPython是什么?一、TPYBoad 是什么?三、使用步骤1.使用USB连接开发板和PC电脑2.PC电脑上打开开发板3.打开main.py编写代码4.执行代码总结前言MicroPython可以对硬件进行嵌入式的开发,我在网上购买了个支持Python单片机,今天就试试下我的第一个用Python语言来控制单片机的程序一、MicroPython是什么?MicroPython是在单片机上可以跑的Python,也就是说,你可以通过Python脚本语言开发单片机程序。MicroP原创 2021-11-28 11:30:10 · 4018 阅读 · 0 评论 -
Python+Apollo代理进行MQTT简单通信
文章目录前言一、运行环境准备二、MQTT简单通信实现1.开启Apollo代理2.Python客户端3.MQTT测试总结前言想简单的了解下如何通过python实现MQTT发布、订阅提示:以下是本篇文章正文内容,下面案例可供参考一、运行环境准备(一)操作系统:window 7 x64专业版(二)软件准备Apollo服务器软件:apache-apollo-1.7.1-windows-distro.zipjava:jdk-8u77-windows-x64.exe (Apollo需要java环境,原创 2021-11-27 13:33:31 · 1259 阅读 · 0 评论 -
在局域网搭建mqtt服务器
文章目录前言一、mqtt是什么?二、搭建步骤1.下载apache-apollo-1.7.1-windows-distro.zip2.启动mqtt服务3.后台管理界面4.测试总结前言最近在学习Python做物联网,涉及到的硬件和软件方面的知识还不少,之间通讯使用mqtt进行通信提示:以下是本篇文章正文内容,下面案例可供参考一、mqtt是什么?MQTT 是一个基于发布/订阅模式的消息传输协议。它具有轻量级、开放、简单,易于实现,通信带宽要求低等特点。这些特点使得它对机器与机器的通信(M2M)以及物原创 2021-11-21 14:09:30 · 6558 阅读 · 1 评论 -
Python使用Tesseract-OCR
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录前言一、tesseract-ocr是什么?二、Tesseract-OCR 安装和使用1.引入库2.配置环境变量3.Python-OCR使用Tesseract-OCR总结前言最近学习Pyhton,发现通过tesseract-ocr可以快速搭建图文识别系统,帮助我们开发出能识别图片的ocr系统一、tesseract-ocr是什么?Tesseract-OCR:开源的OCR识别引擎,初期Tesseract引擎由HP实验室研发,后原创 2021-11-10 19:52:54 · 3829 阅读 · 2 评论 -
Python使用urllib工具抓取图片
文章目录前言一、urllib是什么?二、使用步骤1.引入库2.解析数据3.出现问题总结前言使用urllib.urlretrieve(url,filename)时经常遇到下载到一半时,出现urllib.ContentTooShortError错误。为什么呢一、urllib是什么?Urllib是python内置的HTTP请求库包括以下模块urllib.request 请求模块urllib.error 异常处理模块urllib.parse url解析模块urllib.robotparser原创 2021-11-03 21:35:00 · 688 阅读 · 0 评论 -
Python使用BeautifulSoup
文章目录前言一、BeautifulSoup是什么?二、如何使用1.引入库2.解析方式总结前言在没接触Python之前使用正则表达式来解析网页,如果一个正则匹配稍有差池,那可能程序就处在永久的循环之中,但是在Python中有工具叫BeautifulSoup,有了它我们可以很方便地提取出 HTML 或 XML 标签中的内容,实在是方便提示:以下是本篇文章正文内容,下面案例可供参考一、BeautifulSoup是什么?BeautifulSoup提供一些简单的、python式的函数用来处理导航、搜索、原创 2021-11-01 20:46:16 · 1577 阅读 · 0 评论 -
Python发送HTTP请求
文章目录前言一、urllib,urllib3是什么?二、使用步骤1.引入库2.urllib模块3.urllib3模块3.requests模块总结前言最近在看爬虫相关的知识,如何通过Python去爬去网页上的内容,涉及到Http请求提示:以下是本篇文章正文内容,下面案例可供参考一、urllib,urllib3是什么?urllib,urllib3是Python的内置模块,通过此模块可以进行Http请求操作二、使用步骤1.引入库代码如下(示例):pip install request2.原创 2021-10-31 16:24:47 · 413 阅读 · 0 评论 -
WCF RestFul+JWT身份验证
文章目录前言一、JWT是什么?二、如何使用JWT身份验证1.前端-用户登录成功后,服务端通过jwt生成一个随机token给用户2.前端-用户访问时需携带token,发给服务端3.后端-用户访问时需携带token,发给服务端4.服务端接收到token之后,通过jwt对token进行校验是否超时、是否合法二、校验接口总结前言之前已经介绍了restful风格wcf,本篇将介绍一下,调用restful的权限认证的内容。在调用的接口,为了安全,总会需要对请求进行权限认证的,以防一些非法的操作。提示:以下是本原创 2021-09-21 08:51:27 · 687 阅读 · 0 评论 -
Python访问数据库
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录前言一、Python是什么?二、Python如何访问数据库db_conn.execute(r'''INSERT INTO JSCC_LINE_PROJECTS(FOLIO,PROJECT_TITLE,PROJECT_CONTENT) VALUES (:1, :2, :3)''', ('202005170005', 'BUY', 'RHAT') )db_conn.execute(r'''INSERT INTO JSCC_LINE_PR原创 2021-09-07 20:55:26 · 2009 阅读 · 0 评论